中国人民大学：2024年大语言模型中的事实性幻象报告

根据标记内容，全文主要围绕大语言模型中的“幻象”问题展开，包括其表现、原因、评估方法和缓解策略。以下是关键点：

1、幻象表现：大模型容易编造事实、生成幻象文本，如前后说法不一致、违背已有事实、编造不存在的事实等。

2、幻象类型：包括内在幻象和外在幻象，如摘要与文档内容矛盾、摘要内容在文档中不存在等。

3、幻象原因：数据集合原因、模型原因（如曝光偏差、参数化知识偏差、不充分的表示学习、不恰当的解码方式）。

4、幻象评估：HaluEval评测基准，包含35000条评测样本，用于评估大模型的幻象检测能力。

5、缓解方法：微调对齐阶段使用RLHF，推理阶段采用检索增强、提示改进、自我反思等。

6、幻象缓解效果：增加模型规模、优化训练数据、改进指令微调、调整提示设计等可减轻幻象程度。