核验答案是否有来源支撑
Asai et al., “Self-RAG: Learning to Retrieve, Generate and Critique through Self-Reflection”, ICLR 2024 · arXiv:2310.11511
以检索到的段落为条件进行生成,能降低幻觉率,却不能消除它:生成目标中没有任何东西要求产出的每个断言都由上下文蕴含。模型可能超出段落所确立的内容进行外推,也可能忽略一个相关段落。这两种失效不同于检索失效,而且对用户不可见,因为答案依然格式良好,并附有貌似合理的引用。
Asai 及其合著者在 ICLR 2024 提出训练模型在输出文本之外,还输出反思标记(reflection tokens),以明示其自身判断:这一片段是否需要检索,检索到的段落是否相关,生成的片段是否得到这些段落的支持,以及答案对所提问题是否有用。这些判断在解码过程中产生,使得片段可以被选取或剔除,并让系统行为在推理时可控。对我们而言重要的一点,是将文献中常被混淆的两条标准区分开来:来源对事实的支持,以及对问题的相关性。
DeepView 沿用这一区分,但不沿用其实现。我们不训练模型输出反思标记,那将意味着为每次部署做专门的微调。事实支持在撰写完成后逐句进行检查:每个句子都与其引用的摘录进行比对,每个数字都必须能在其来源中找到。这一检查是确定性的,无需第二次调用模型:没有依据的句子会在屏幕上标出,并降低所显示的置信度,而不会被悄悄改写。相关性则由研究智能体负责,它在决定是否已掌握足够信息作答之前,先对所读段落作出判断。