跳至正文
← 返回出版物列表信息检索

在向量空间中表示语义

Reimers & Gurevych, “Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks”, EMNLP 2019 · arXiv:1908.10084

词法匹配作用于表层形式。两个用互不相交的词汇描述同一概念的段落(一份事故报告提到“紧急停机”,一份规程描述“设施安全处置”)得到的重叠分数为零。这种词汇不匹配(vocabulary mismatch)是信息检索领域早已识别的问题,在由多位作者于长时间跨度内撰写的语料库上尤为严重。

Reimers 和 Gurevych 在 2019 年提出了一种孪生架构,可生成彼此可比的句子向量表示。原始形式的 BERT 必须将两段文本联合编码才能比较,这使得代价随段落数呈二次增长,并且无法预先建立索引。作者在对比目标上训练两个共享权重的编码器,得到了相互独立的表示,可以对整个语料库离线计算,并通过点积或余弦相似度进行比较。比较因而变成最近邻搜索,借助近似索引可达到亚线性复杂度。

DeepView 使用该系列中的一个模型为语料库建立索引,采用的是多语言变体,它将不同语言投射到同一个共享空间:一条法语查询无需中间翻译即可匹配一段英文段落。这些模型采用开放许可证,在您的硬件上运行;索引和推理都留在您的环境内,不调用任何第三方服务。

深入细节

架构选择、相对于文献的有意偏离,以及评估的阶段性结果,都可直接与构建该系统的团队讨论。