基于交叉编码器的重排序
Nogueira & Cho, “Passage Re-ranking with BERT”, 2019 · arXiv:1901.04085
稠密检索必须独立于查询对每个段落进行编码,才能实现离线索引。这一约束以精度为代价:段落的表示是在不知道问题的情况下计算的,因而无法突出段落中与问题相关的那一面。得到的排名召回率不错,正确答案几乎总在前一百条结果之内,但列表头部的精确率平平。
Nogueira 和 Cho 在 2019 年确立了两阶段架构的有效性。交叉编码器一次性处理查询与段落的拼接,使注意力得以在两者的词项之间运作,产生明显更可靠的相关性评分。这种计算是二次的、不可索引的,无法应用于整个语料库;但应用于第一阶段返回的几十个候选时,其代价就变得可以接受。作者在 MS MARCO 上报告了显著增益。
DeepView 对排名融合产生的候选应用此类重排序,只把排名最靠前的结果传给生成器。动机有二:上下文的精确度直接决定生成质量;而简短而密集的上下文降低了模型依赖离题段落的概率。