LLM训练的隐秘危机：1%的合成数据或致模型崩溃 | 大模型的"内心戏"：LLM比你想象的更聪明，却在"装傻"？

1、LLM训练的隐秘危机：1%的合成数据或致模型崩溃  

在LLM快速发展的今天，一个令人担忧的现象正悄然出现——模型崩溃。研究发现，即便在训练数据中仅包含1%的合成数据，也可能导致LLM模型性能严重下降，无论如何增加训练数据量都无法提升效果。    

更令人意外的是，增加模型规模这一当前广泛采用的方法，非但不能缓解问题，反而可能加剧模型崩溃。研究团队通过理论分析和实验证明，在某些情况下，更大的模型可能会放大这种崩溃效应。这一发现对目前流行的"越大越好"的LLM训练理念提出了挑战。

有趣的是，研究还指出，当模型达到"插值阈值"后（这个阈值对于超大数据集可能非常高），增大模型规模可能会在一定程度上缓解崩溃现象，尽管无法完全避免。这一理论预测在语言模型和图像处理神经网络的实验中得到了验证。    

这项研究为LLM领域敲响了警钟：我们需要重新审视数据质量对模型训练的影响，特别是在合成数据日益普及的今天。它也为未来LLM的设计和训练提供了新的思路，提醒我们在追求更大规模的同时，也要关注数据的真实性和代表性。在LLM竞赛日益激烈的今天，这份研究无疑为从业者们提供了宝贵的见解。

论文标题：Strong Model Collapse

论文链接：​​https://arxiv.org/abs/2410.04840​​   

2、大语言模型的"内心戏"：LLM比你想象的更聪明，却在"装傻"？ 

最新研究揭示，大语言模型（LLMs）可能比我们想象的更聪明，但它们似乎在"装傻"。即使在LLM产生错误或"幻觉"时，其内部表征仍然编码了大量关于真实性的信息。这一发现颠覆了我们对LLM错误的传统认知。

研究团队通过一系列实验发现，LLM的真实性信息集中在特定的词元上，利用这一特性可以显著提高错误检测性能。然而，这种错误检测器难以在不同数据集间泛化，暗示真实性编码并非普遍性的，而是多方面的。更令人惊讶的是，研究发现LLM的内部表征与外部行为之间存在明显差异：模型可能在内部编码了正确答案，却一致地生成错误回答。

这项研究不仅深化了我们对LLM错误的理解，还为未来的错误分析和缓解策略指明了方向。它揭示了LLM的内部"知识"可能比其外部表现更丰富，这一发现可能彻底改变我们设计和优化LLM系统的方式。

面对这个LLM似乎在"明知故犯"的现象，我们不禁要问：如何才能充分发挥LLM的潜力，让它们"知行合一"？这个问题不仅关乎技术，更涉及到LLM的可信度和未来发展方向。随着研究的深入，我们或许能找到让LLM更好地展现其内在智慧的方法，推动人工智能向更可靠、更透明的方向发展。

论文标题：LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations

论文链接：​​https://arxiv.org/abs/2410.02707​​

本文转载自 ​​AI帝国​​，作者： 无影寺