跳至正文
← 返回出版物列表信息检索

词法加权与罕见词项

Robertson & Zaragoza, “The Probabilistic Relevance Framework: BM25 and Beyond”, Foundations and Trends in Information Retrieval, 2009

稠密检索依据语义接近度匹配文本,这使它对措辞变化具有鲁棒性,但不适合低频且高度特异的词项:规范性引用、批次号、合同标识符。这些词项被投射到低维连续空间后,会与字形相近却毫无关联的字符串成为邻居。而恰恰是在这类查询中,近似匹配没有任何价值。

BM25 在 Robertson 和 Zaragoza 所综述的概率框架内形式化了词法相关性。评分函数结合三个组成部分:词项在文档中的频率,由一个参数进行饱和处理,限制重复出现带来的增益;逆文档频率,按词项在语料库中的稀有程度对其加权;以及按文档长度进行的归一化,纠正早期模型偏向长文档的偏差。没有任何参数是在标注数据上学习得到的:评分是确定性的、可检视的。

DeepView 将 BM25 与稠密检索并行执行,而非替代。关于它带来什么、不带来什么,需要说明一点:文档被切分为词项,不考虑顺序和大小写,因此像“PRO-042”这样的引用会被视为两个不同的词项,而不是一个字符串。所以严格来说这并不是精确检索。但逆文档频率所保证的是,一个罕见词项的权重远高于常用词:带有正确引用的文档会被排到前面,而单靠语义接近度则会带回内容相近却带着另一个引用的文档。随后两份排名依据“倒数排名融合”评注中描述的方法进行融合。

深入细节

架构选择、相对于文献的有意偏离,以及评估的阶段性结果,都可直接与构建该系统的团队讨论。