当前位置:首页 > 科研成果库

检索增强生成:向量索引建好之后,大模型为何依然答错

2026-11-16 15:27:12小研科研成果库6

做RAG的人都有过这种体验。系统上线第一周效果惊艳,第二周开始出现诡异答案,第三周运维同事开始怀疑人生。检索器明明把正确文档排在第一,模型却偏偏根据第二、第三甚至第七篇文档生成了一段看似合理实则离谱的回复。你盯着屏幕,只能说一句——这锅到底该谁背?

检索增强生成这件事,2020年那篇Facebook AI的论文其实已经把框架说清楚了。参数化记忆不够用,那就外挂一个非参数化的知识库。逻辑上无懈可击。问题是,从论文到生产环境,中间隔着一道很深的沟。这道沟不在检索这一侧,也不在生成那一侧,它藏在两者的衔接处。

RAG检索增强生成系统架构流程图RAG检索增强生成系统架构流程图

检索到了,不等于用对了

先说一个常被忽略的事实:向量相似度高的文档,未必是回答当前问题所必需的知识。这句话听起来简单,但背后涉及的语义空间几何结构相当复杂。用户问“XX药物的半衰期在肾功能不全患者中是否需要调整”,嵌入模型编码这个query时,会映射到语义空间某个位置。而知识库里最靠近这个位置的文档,可能是药物代谢动力学的综述,也可能是肾功能评估指南的某个章节。两者都“相似”,但对回答的必要性完全不同。

更麻烦的是语义漂移。同一个领域内的专业术语,在不同细分方向的语料训练下,嵌入表示会有微妙偏移。比如“attention”在NLP论文里和在医疗记录里,语义空间中的重心就不在一个位置。检索器按数值排序给出结果时,这种偏移会悄无声息地放大。

有人在链路里加了重排序模型。效果?有。但引入了新的延迟。用交叉编码器还是用基于LLM的打分器,工程上的取舍完全不同。前者推理成本是嵌入模型的几十倍,后者则容易碰到上下文长度瓶颈。说实话,很多团队在这第一步就开始妥协。

注意力机制不是万能的分配器

假设检索质量过关了,接下来发生的事更微妙。检索到的文档被拼成一个长上下文,喂给生成模型。模型需要在数千个token中定位关键片段,同时抵抗无关内容的干扰。这个能力,高度依赖文档在上下文中的位置和表述方式。

Liu等人在2023年的研究发现,LLM对长上下文的利用存在“中间遗忘”现象——位于上下文开头和结尾的信息被有效利用的概率,远高于中段。这意味着,即使你检索了十篇文档,如果关键信息恰好落在中间某篇的中段,模型错过的概率相当可观。

应对策略?有人把最相关的文档放在首尾。有人做上下文压缩,把长文档摘要成短片段再拼接。还有人干脆改成多轮对话,每轮只喂一两篇文档。这些做法都有道理,但也都不是免费的午餐。压缩会丢失细节,多轮会增加延迟和累积误差,位置调换只对浅层检索有效。

还有一个容易被忽视的问题:文档之间的冲突。知识库里存着不同时期、不同来源、甚至互相矛盾的资料。检索器不会告诉你哪篇更权威,生成模型也不一定有能力仲裁。结果就是,模型可能在一段回答里同时采纳了两种对立的说法,还浑然不知。

大模型长上下文注意力分布热力图大模型长上下文注意力分布热力图

评估这件事,比想象中更棘手

怎么判断一个RAG系统好不好?看答案对不对?问题恰恰在这里。传统信息检索有明确的相关性标注,机器翻译有BLEU和COMET,但RAG的评估没有一个被广泛接受的单一指标。

常用的做法是拆成三块:检索命中率、答案忠实度、答案相关性。但这三者之间的关联远没有想象中那么强。检索命中率提升了8个点,端到端答案质量可能纹丝不动。为什么?因为模型对噪声的容忍度比我们预期的要高,反过来,它也可能因为一个缺失的关键片段而彻底跑偏。

更麻烦的是幻觉的隐蔽性。在开放域问答里,模型编造一个不存在的引用,人类评估者如果不去核对原始文档,很难发现。在专业领域,比如法律或医疗,这种隐蔽的错误代价极大。但构建一份高质量的领域评估集,成本又高得惊人。于是很多团队选择用GPT-4做自动评估——这本身又引入了一个循环依赖:用可能有幻觉的模型去评估另一个模型的幻觉。

端到端优化,方向对吗

目前主流RAG是“先检索、再生成”的级联结构。检索器只管找文档,生成器只管写答案。两者在训练时是分离的。一个自然的想法是:能不能联合优化?让生成端的反馈信号传回检索端,告诉它什么样的文档才是真正有用的。

这个方向在学术上叫“检索器-生成器联合训练”。有几种做法:用强化学习把生成质量作为奖励信号,或者用可微分的检索机制做端到端梯度回传。理论上很漂亮,实践上困难重重。强化学习的方差大、样本效率低,可微分检索对索引结构的限制又太多。

另一个思路是做迭代式RAG。模型先根据问题生成初步检索query,拿到文档后判断信息是否充分,不充分就重新构造query再检索。这个循环可以跑两三轮。效果确实比单轮好,代价是延迟成倍增加。而且,迭代过程本身可能陷入局部最优——模型反复检索相似内容,无法跳出初始query的语义范围。

不过话说回来,RAG的边界并不完全由技术决定。在很多场景下,它的价值不在于给出完美答案,而在于显著降低幻觉率。一个70分的RAG系统,在客服、法律咨询、医疗辅助这些容错空间有限的领域,可能比一个90分但没有知识依据的纯生成模型更可用。

真正棘手的问题在于,当RAG系统出错时,错误归因变得极其困难。是检索器没找到?是文档本身有误?是上下文拼接截断了关键信息?是生成模型注意力跑偏?还是知识库更新滞后?每一个环节都可能出问题,而用户只看到最终那个错误的答案。调试RAG系统,某种程度上比训练模型本身更消耗精力。

所以回到最初那个场景。向量索引建好了,检索器也调优了,模型也换了更强的版本,但答案依然时对时错。这不是某个环节的失败,而是整个链路中多个环节的微小误差叠加后的必然结果。理解这一点,比追求某个单点指标的提升更重要。