CNDBA社区
一、什么是大模型”幻觉”
“幻觉”指大语言模型生成看似合理但实际上错误的陈述，即”一本正经地胡说八道”。具体表现为：
- 事实错误：生成与已知事实不符的信息（如编造历史事件）
- 逻辑不连贯：内容存在内部逻辑矛盾
- 虚构细节：创造不存在的人物、事件或数据（如”秦始皇用iPhone”）
- 过度自信：即使内容错误，模型也给出高自信度
典型案例：
- 编造名人名言（”莎士比亚根本没说过这话”）
- 虚构科学结论（”研究表明吃土能减肥”）
- GPT编造《史记·气候志》解读全球变暖
- 医疗AI虚构”国际期刊论文”推荐药品
二、幻觉问题的根源
1. 训练机制的根本问题
- 序列预测的本质：大模型主要训练方式是”下一个词预测”，缺乏”真/假”标签的校正
- 概率游戏：模型试图最大化生成文本的概率得分，而非判断真实世界准确性
- 高频vs低频事实：高频事实（如拼写）可被掌握，但低频事实（如生日）难以通过语言规律推断
2. 评估机制的关键问题
- “猜测”被奖励：现行评估体系更倾向于奖励”猜测”而非”承认未知”
- 类似选择题考试：答错虽扣分，但空白得零分
- 模型在不确定时选择猜测以获取更高准确率
- 评估指标错位：评估标准与真实应用场景存在根本性错位
- 现实世界中，多数问题不存在绝对正确答案
- 模型被迫在”非黑即白”框架下运作，将不确定性强行转化为确定性
OpenAI研究指出：”幻觉之所以难以消除，是因为现有的评估标准奖励猜测。模型被优化成’考试型选手’，在不确定时猜一猜反而能提高分数。”
3. 其他因素
- 训练数据质量：数据中包含错误、偏见或过时信息
- 数据覆盖不足：垂直领域数据缺失，模型”创造性补全”
- 知识更新延迟：训练数据截止到某个时间点，无法反映最新信息
- 模型规模效应：大模型因”略知一二”，更易自信给出错误答案；小模型因知识储备有限，反而更容易承认能力边界
三、解决幻觉问题的策略
1. 评估机制改革（核心解决方案）
- 重新设计评估标准：对自信的错误给予更高惩罚，对恰当表达不确定性的模型给予部分分数
- 抑制”乱猜”行为：修改评分机制，避免在模型不确定时因拒答而被扣分
- 从”准确率”导向转向”可靠性”导向：评估应关注模型在不确定时的诚实表现
OpenAI团队强调：”仅在部分评估体系中试行新办法是不够的，主流的基于准确率的评分标准应全面革新。”
2. 数据治理（源头控制）
- 提升数据质量和多样性：确保训练数据集的质量和多样性
- 垂直领域增强：引入权威学术数据集提升专业领域准确性
- 动态更新机制：定期注入行业最新数据，减少时效性误差
- 对抗性清洗：通过对抗训练识别并剔除噪声数据
3. 模型优化（技术层面）
- RAG技术：检索增强生成，将外部知识库与大模型结合
- 模型先生成搜索关键词，然后在互联网上搜索并整合结果
- 混合架构设计：将生成模型与检索增强结合，优先调用已验证知识库
- 过程监督：奖励推理步骤的正确性，而非仅最终答案
- 分布式验证网络：采用多模型交叉验证（如多数表决机制）
4. 交互设计（用户体验）
- 强制信源标注：要求模型标注回答依据（如”数据来源：2024年统计局年报”）
- 实时联网检索：开放API接入搜索引擎，补充实时数据
- 模糊提示拦截：当用户提问过于宽泛时，引导其补充限定条件
- 提示词工程：精准提问，如”用2023年权威物理教材的定义，简述量子力学的三大核心原理”
5. 用户侧策略
- 精准提问：避免模糊问题，提供具体限定条件
- 交叉验证：对关键信息用搜索引擎或专业网站二次确认
- 让AI自我审查：直接追问”你刚才提到的XX数据，来源可靠吗？”
- 多模型验证：用多个AI交叉验证，如”请帮我校对这篇文章，尤其是数据部分”
四、重要结论
- 幻觉无法彻底消除：因为客观上有些问题无法精准回答
- 幻觉并非不可避免：模型应在不确定时选择回避
- 幻觉是评估体系激励机制下的产物：通过科学的评级机制可望大幅减少
- 大模型幻觉与创造力的微妙关系：抑制幻觉可能使模型”缺乏人味”，在创意场景中表现呆板
- 未来趋势：AI将走向分化，提供”创意型”与”严谨型”两种模式，满足不同场景需求
OpenAI已表示，其最新模型的幻觉率已显著下降，团队将持续努力，进一步降低语言模型自信输出错误信息的概率。
正如知识库[13]所述：”面对AI幻觉，关键是’信任但验证’——既用科学方法降低风险，也善用其特性挖掘创新价值，这正是大模型走向更实用、更强大的必经之路。”
