先评估检索结果,再生成
Yan et al., “Corrective Retrieval Augmented Generation”, 2024 · arXiv:2401.15884
在标准 RAG 架构中,无论返回什么段落,生成都会被触发。因此答案质量受限于检索质量,而上游的失败不会在下游表现为可见的失败:生成器被迫基于离题的上下文作答,产出的答案同样离题,却以同样的自信表述出来。这种错误对用户而言无法察觉,代价也就格外高昂。
Yan 及其合著者在 2024 年引入了一个轻量评估器,在任何生成之前应用于检索到的段落,将检索结果划分为三种状态:正确、错误或模糊。每种状态对应一种不同的动作:经过精细过滤后使用这些段落,触发另一种检索,或两者结合。该机制是严格意义上的纠正式机制:它作用于生成器的输入而非输出,而且由于评估器远比生成器轻量,其代价仍然很低。
在 DeepView 中,这一判断由研究智能体承担。每次检索之后,它阅读保留的段落并作出决定:撰写答案、打开某份文档,或换用其他词项再次检索。因此我们的标准不如论文那样形式化,论文依据一个专门的分数将检索划分为三种状态;而在我们这里由模型来判断,并在一个有上限的检索预算内进行,以保证流程终止。如果它所读到的内容都不足以作答,DeepView 会直接说明,而不是基于离题的上下文撰写答案。