融合分数不可比的多份排名
Cormack, Clarke & Büttcher, “Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods”, SIGIR 2009
组合多个检索系统,意味着要让它们的分数可比。BM25 分数无上界且依赖于语料库;余弦相似度有界,但集中在一个狭窄区间内,其分布随模型而异。因此任何线性组合都需要事先归一化并加权,二者都须在标注数据上估计,而客户语料库通常不存在这类数据,而且每次部署都得重新估计。
Cormack、Clarke 和 Büttcher 在 2009 年提出绕开这一问题,弃用分数:倒数排名融合只使用每个文档在每份排名中的名次,并对这些名次加上一个常数后取倒数求和。一个被多个系统都排得靠前的文档,即使在任何系统中都不是第一,也能获得较高的融合分数;而仅在单个系统中孤立领先的文档权重较低。作者证明,这条不含任何学习参数的规则,优于多种有监督的排序学习方法以及 Condorcet 融合。
DeepView 用这种方法融合词法、稠密和来自图谱的三份排名。我们的实现在原始公式之上增加了按来源加权:每项贡献都乘以其所来自引擎特有的权重,这样在高度规范性的文档库上可以给词法检索更高的权重,而在自由语言撰写的会议纪要集合上则不然。这些权重和偏移常数是部署级设置,在整个实例中通用,而不是从每个语料库自动推导的值。此外,图谱的贡献以图谱已配置为前提:否则融合只在另外两份排名之间进行。