一文读懂LLMs的幻觉问题和对策

什么是大模型幻觉（LLM Hallucination）

指大语言模型在生成文本时，给出似是而非、虚构或不准确信息的现象，简单来说就是一本正经的胡说八道。

要点：

• 大模型幻觉包括生成的文本与事实矛盾、上下文矛盾、与prompt不一致、编造事实和荒谬回复等问题
• 幻觉产生的原因有数据质量问题、多样性缺乏、训练过拟合、生成过程随机性、提示工程不足和微调过程控制不当
• 幻觉会带来严重后果,阻碍大模型应用

1）. 事实性幻觉 (Factuality Hallucination)
🐞 事实不一致
✍️ 事实捏造
2）. 忠实性幻觉 (Faithfulness Hallucination)
💬 指令不一致
📜 上下文不一致
🧮 逻辑不一致

产生幻觉的原因
🗣️ 内容生成的机制
📚 训练数据的局限
🤔 上下文误导

应对幻觉的方法
1）. 🏖️ 依赖模型能力的增强 （什么都不用做！）
2）. 🔍 交叉验证信息
3）. 📖 设置明确的上下文-

大模型幻觉从哪儿来？

1️⃣来自数据

- 将虚假的相关性(如位置接近或高度共现的关联误解为事实知识

- LLM偏向于肯定测试样本，LLMs容易复制甚至放大这种幻觉行为。

- 存在一些导致幻觉的训练数据·

2️⃣大模型有时会高估自己的能力

3️⃣在 SFT 阶段，有问题的对齐过程可能会误导大模型产生幻觉

4️⃣LLM采用的生成策略，如现在常见的 top-k、top-p 等方法，其实是一种局部最优解，不能确保全局最优。这意味着搜索空间变小了，因此可能引发幻觉问题

大模型幻觉如何评估？

1、生成事实陈述评估

2、判别式基准评估

3、基于问答对的评估

合理解决方法

1️⃣预训练数据问题

2️⃣微调新知识

3️⃣幻觉检测

4️⃣基于采样的检测

5️⃣未知知识的校准

本文转载自公众号数字化助推器  作者：天涯咫尺TGH

原文链接：​​https://mp.weixin.qq.com/s/DBKUwNTV-gbQIKCXYQBgFw​​