前言
自从ChatGPT发布以来，用户的搜索方式以及人机交互模式都经历了显著的变革。在诸如问题回答、文本总结和交流对话等简单的应用场景中，体验质量得到了极大的提升，有时甚至超越了人类的预期表现。
大模型能够生成如此全面且连贯的文本，主要归功于Transformer模型架构以及海量预训练和微调数据集的支撑。
从本质上讲，大模型通过在大量数据上建立共现词概率模型来生成文本，因此“下一个词是什么”与“它在真实世界中的语义含义或真实性”无关，而是与训练数据集中所有单词及其出现位置的统计概率最有可能的情况有关。
例如，“草是绿色的”这一表述之所以被认为是真实的，是因为在真实世界中草是绿色的。大模型之所以告诉用户草是绿色的，是因为“草是”这个词最常与“绿色”这个词一起出现，这并不意味着模型真正理解草坪的真实颜色。
为什么数据共识对大模型有用？以及原理缺陷
人类运用语言旨在精确地向他人描绘这个世界。然而，语言亦能用于辩论、误导、促使行动以及含蓄地表达使用者的信念，这些功能同样会被纳入大型语言模型（LLMs）的训练数据中，从而影响模型对于正确与错误（或幻觉）的判断。
在某个主题存在广泛共识且模型受过大量相关语言训练的情况下，模型的输出通常能反映这种共识。但当主题缺乏足够的语言示例、存在争议性或没有明确共识时，模型就可能产生看似合理实则错误的回答，在大模型处理复杂或有争议的主题时，就更有可能出现幻觉现象。
结论
总的来说，大模型无法有效地回答网络数据不足的问题。尽管某些大模型在处理有争议的主题时更为细致，并偶尔提醒用户避免对争议主题发表声明，但整体上，大模型的回答准确性依赖于训练集中的语言数据。在处理有争议或不常见的主题时，大模型的准确性较低，容易产生幻觉。
归根结底，目前的大模型主要是靠记忆归纳，在冷门问题下翻车是正常的，当然也离逻辑推理智能还比较远。
