如何在Agent、RAG系统中构建可靠的幻觉检测体系

在 Agent、RAG 系统的实际落地中，大模型的幻觉问题堪称致命短板——可能返回不存在的商品信息、错误的价格库存、虚构的售后政策，不仅导致用户投诉率飙升，还可能引发商业纠纷。以某电商客服 Agent 为例，未接入幻觉检测时，约 15% 的回答存在不同程度的幻觉，其中 30% 直接影响交易决策。

为解决这一痛点，我们在客服 Agent 系统中设计了独立的Hallucination Checker 模块，在大模型生成最终回复后、返回给用户前插入检测环节，通过 “四层校验 + 自我修正” 的闭环逻辑，将幻觉率降至 1.2% 以下。本文将详细拆解该模块的技术实现思路。

核心设计：四层幻觉检测机制

Hallucination Checker 的核心逻辑是多维度交叉验证，通过四种互补的检测方式覆盖不同类型的幻觉场景，确保检测的全面性和可靠性。

1. 知识溯源：锚定回答的 “信息根源”

RAG 系统的核心优势是 “基于知识库生成答案”，因此知识溯源是幻觉检测的基础——判断大模型回答中的关键信息，是否能在检索到的知识库片段中找到明确依据。

实现逻辑

大模型生成回答后，提取其中的核心信息点（如 “商品 A 支持 7 天无理由退货”“售后电话为 XXX”），通过关键词匹配和语义相似度计算，追溯至 RAG 检索阶段获取的知识库片段； 设定溯源置信度阈值（如 0.8），若某信息点在知识库中无对应依据，或相似度低于阈值，则判定为溯源类幻觉。

技术细节

采用 Sentence-BERT 计算文本相似度，结合知识库的结构化标签（如 “售后政策”“商品参数”）缩小溯源范围，提升检测效率；对于模糊表述（如 “可能支持退货”），额外校验知识库中是否存在对应的不确定信息，避免误判。

2. 数值一致性校验：杜绝 “数字类幻觉”

客服场景中，价格、库存、优惠力度、保修期限等数值信息的准确性至关重要，此类幻觉也是用户投诉的重灾区。数值一致性校验的核心是实时对接数据源，交叉验证数值准确性。

实现逻辑

1. 从大模型回答中提取所有数值型信息，按类型分类（价格类、库存类、期限类等）；
2. 实时调用业务数据库接口（如商品库存数据库、定价系统），获取对应字段的最新数据；
3. 对比回答中的数值与数据库中的真实数值，若存在偏差（如回答 “库存 100 件”，实际库存 20 件），或数值格式错误（如 “价格 99.9 元” 写成 “999 元”），则判定为数值类幻觉。

优化策略

考虑到数据库可能存在延迟，引入数值容错范围（如价格偏差≤5%、库存偏差≤10 件时判定为合理）；对于动态变化的数值（如实时库存），增加数据时间戳校验，确保获取的是最新数据。

3. 实体存在性验证：确认 “关键实体真实有效”

实体类幻觉指大模型虚构不存在的商品名、型号、服务项目等（如 “商品 BPro 版” 实际不存在、“免费上门安装服务” 未开通）。实体存在性验证的核心是校验关键实体是否在业务系统中存在。

实现逻辑

1. 提取回答中的核心实体（商品名称、型号、服务名称、门店地址等），构建实体列表；
2. 调用实体数据库接口（如商品信息库、服务项目库），执行 “精确匹配 + 模糊匹配” 查询；
3. 若实体在数据库中无记录，或模糊匹配的相似度低于阈值（如 0.9），则判定为实体类幻觉。

扩展场景 对于关联实体（如 “商品 C 的配套配件 D”），不仅校验配件 D 是否存在，还需验证 D 与 C 是否为官方认可的配套关系，避免 “实体存在但关联错误” 的隐性幻觉。

4. 小模型裁判校验：兜底检测 “逻辑类幻觉”

前三种方式主要针对 “事实类幻觉”，而逻辑类幻觉（如 “商品 A 支持无理由退货，且未拆封才能退货” 存在逻辑矛盾、“售后流程先退款再退货” 与实际流程相反）难以通过简单的匹配校验发现。此时引入小模型裁判进行兜底判断。

实现逻辑

1. 选择轻量、高效的小模型 deepseek-r1-distill-qwen-7B 作为裁判模型（参数量适中，推理速度快，适合实时检测场景）；
2. 构建 Prompt 模板，将大模型的回答、检索到的知识库片段、数据库中的关键数据作为输入，要求裁判模型判断 “回答是否符合事实、逻辑是否自洽、是否存在虚构信息”；
3. 裁判模型输出 “可信”“不可信”“不确定” 三类结果，若结果为 “不可信”，则判定为逻辑类幻觉；若为 “不确定”，则结合前三层检测结果综合判断。

Prompt 优化 通过 Few-Shot 学习优化 Prompt，提供典型幻觉案例（如逻辑矛盾、事实错误）作为参考，提升裁判模型的判断准确率；同时限制裁判模型的输出格式，确保结果可直接被系统解析。

二、闭环机制：幻觉发现后的自我修正

检测出幻觉后，系统触发自我修正流程，避免直接返回错误信息给用户。

1. 幻觉定位：明确幻觉类型（如数值类幻觉、实体类幻觉）和具体位置（如 “库存数值错误”“商品 BPro 版不存在”）；
2. 重新检索/查询：针对幻觉点，重新调用 RAG 检索模块（补充检索知识库）或业务数据库接口（获取准确数据）；
3. 二次生成：将修正后的信息（如准确库存、真实商品名）反馈给大模型，要求其基于正确信息重新生成回答；
4. 二次检测：新生成的回答需再次经过 Hallucination Checker 校验，确保无新的幻觉产生；若仍存在幻觉，则提示用户 “当前信息暂未确认，将为您转接人工客服”。

三、落地效果与优化方向

落地效果

• 幻觉率从降低，其中事实类幻觉（知识溯源、数值、实体）几乎清零，逻辑类幻觉也很低；
• 用户投诉率下降，尤其是与数值、商品信息相关的投诉减少；
• 系统响应延迟仅增加（主要来自小模型裁判推理），在客服场景可接受范围内。

优化方向

• 引入强化学习：基于用户反馈（如 “回答准确”“信息错误”）优化检测阈值和修正策略；
• 多模态幻觉检测：针对图文客服场景，增加图片信息的幻觉检测（如虚构商品图片描述）；
• 预训练优化：将常见幻觉案例融入大模型微调数据，从源头减少幻觉生成。

四、总结

在 Agent、RAG 系统中，高可靠的幻觉检测核心是多维度交叉验证 + 闭环修正。本文提出的 Hallucination Checker 模块，通过知识溯源、数值一致性校验、实体存在性验证覆盖事实类幻觉，借助小模型裁判兜底逻辑类幻觉，再通过自我修正机制提升回答准确性，为客服等对信息可靠性要求极高的场景提供了可行的技术方案。

未来，随着大模型能力的提升和检测技术的迭代，幻觉检测将向 “更精准、更高效、更全面” 方向发展，进一步释放 Agent、RAG 系统的应用价值。