将记忆与推理分离
Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, NeurIPS 2020 · arXiv:2005.11401
语言模型把训练期间所见的内容以一种弥散且无法查阅的形式编码在参数中。这种参数化记忆有三个结构性局限:它固化于数据收集之日;不经重新训练就无法编辑;也不支持任何溯源,因为模型无法指出它所断言内容的出处。当被问及一个它从未见过的语料库时,它察觉不到这种缺失:训练目标驱使它生成最可能的续写,结果是一个格式良好却毫无依据的答案。
Lewis 及其合著者在 2020 年形式化了一种将两项功能分离的架构:一个非参数化记忆,由语料库上可查询的索引构成;以及一个生成模型,它在查询时以检索到的段落为条件进行生成。模型不再需要记住语料库,只需根据所提供的上下文撰写答案。作者展示了在知识密集型任务上的增益,更重要的是展示了纯参数化方法所不具备的一个特性:对生成起到条件作用的段落是可以识别的。
这正是 DeepView 的架构,而不是外加的一层:生成始终以检索到的段落为条件,从不依赖模型的参数化记忆。由此带来两个结果。溯源是结构性的,而非事后重建,因为被引用的段落正是提供给生成器的那些段落。语料库也永远不需要被学习:生成模型保持通用且可互换,业务知识由在您的环境中构建的索引提供。