跳至正文
← 返回出版物列表文档分析

分块不是一个中性环节

Śmigielski et al., “Chunking Methods on Retrieval-Augmented Generation: Effectiveness Evaluation Against Computational Cost and Limitations”, Wrocław University of Science and Technology, 2026 · arXiv:2606.00881

文档在被索引之前会被切分为段落。这一步长期以来被视为简单的前置处理,凭感觉设定一个固定长度和一个重叠量就算完成。但它决定了系统能够检索到什么:段落过短会丢失使其内容可解释的上下文,段落过长会把相关信息稀释在离题文本之中,而切分位置不当则会把一个断言与限定它的条件分开。这些损失在下游都无法挽回,因为段落正是检索所操作的单元。

弗罗茨瓦夫理工大学的团队在 2026 年发表了第一项对分块方法的系统性评估,在多种数据类型和场景下进行比较。其价值既在方法也在结果:作者将每种方法的计算成本与其增益对照报告,而提出新分块策略的工作通常只在自己的数据集上与固定长度分块作比较,且不量化其代价。总体结论是有保留的:多种复杂方法在其提出的框架之外并未兑现承诺。

我们从中得出的是一条行事准则,而不是一种待实现的方法。DeepView 按照版面分析重建出的结构进行分块,而不是按固定长度,这项评估对结构化文档证实了这一做法。它尤其使我们避免一个常见的偏差:因为某个最新发表的策略在学术数据集上数字更好就采用它。分块要根据语料库来选择,每当一次部署的文档与此前的不相似时,这个问题就要重新提出。

深入细节

架构选择、相对于文献的有意偏离,以及评估的阶段性结果,都可直接与构建该系统的团队讨论。