幻觉频出答非所问？大模型知识库搭建用3个实用技巧改善回答偏差

搭建本地或者企业知识库的时候，很多人以为只要把一堆 PDF、Word 扔进向量数据库，再接上大模型，系统就能像专家一样对答如流。

但是实际跑起来，现实往往很骨感。大模型经常对着你给的资料胡说八道，问它“产品 A 的电池容量是多少”，它给你答“产品 B 的充电功率”，或者干脆自己编造一组根本不存在的参数。

很多人第一反应是觉得模型太笨，于是花大量时间去改提示词（Prompt），在系统指令里写满“请严格根据上下文回答”、“绝对不能编造”。这种做法基本是隔靴搔痒。在真实的生产环境里，知识库超过 80% 的幻觉和胡说，根本不是模型理解能力的问题，而是检索链路本身送进去的数据有问题。

检索出来的资料要么被切得稀碎丢失了上下文，要么找来一堆语义相似但事实无关的噪音。大模型拿到错误或者残缺的依据，自然只能凭借底座记忆去猜。

想要让知识库老老实实按文档说话，把回答偏差降到最低，在搭建知识库时有 3 个非常直接且见效快的实用技巧。

技巧一：放弃机械切分，改用“父子切片”（Parent-Child Chunking）

很多新手搭建知识库时，直接采用固定的长度切分文档。比如把切片大小（Chunk Size）直接设为 500 字符，重叠（Overlap）设为 50。

这种机械切片是引发大模型幻觉的最大雷区。一段完整的业务逻辑、一张报价表或者一个操作规程，很容易被从中间一刀切成两段。

举个真实案例：公司的售后退款政策写着“产品激活后 7 天内出现非人为硬件故障，支持全额退款；但如果是外观磨损，扣除 20% 折旧费”。如果切分线正好落在“但如果是外观磨损”前面，大模型检索时只拿到了前半句，用户问磨损能不能退，模型就会断章取义给出“全额退款”的错误答案。

解决这个问题的标准操作是小块检索，大块输入，也就是父子切片策略。

具体操作步骤如下：

1.先做文档清洗：把 PDF 或 Word 中的页眉、页脚、无意义换行去掉，尽量保留 Markdown 格式的标题层级。

2.然后做两级切分：把文档切成两套切片。大块作为“父切片”，长度一般设为 800 到 1000 字符，保留完整的段落逻辑与背景；在父切片内部，再细切出多个“子切片”，长度设为 150 到 200 字符。

3.建立映射存储：向量数据库里只给子切片生成向量索引，用于语义比对。同时在数据库的元数据（Metadata）里，给每个子切片绑定它所属父切片的唯一 ID。

4.最后执行上下文替换：当用户提问时，系统在向量库里匹配到最相关的子切片。但是，在把内容拼进提示词喂给大模型时，系统会自动取出该子切片对应的父切片塞给大模型。

这样做的好处很明显：小切片特征集中，语义匹配准确度极高；而送给大模型的是完整的父切片，模型拥有完整的上下文事实，不会因为断章取义而产生事实幻觉。

技巧二：用“混合检索”取代单一向量检索

很多人对大模型知识库有一种误解，以为既然用了向量数据库，那就全部交给语义向量去算相似度。

但是向量检索有一个致命短板：它对专有名词、编号、型号和精确数字极度不敏感。

比如用户查询：“设备报故障码 E-402 怎么处理？”

在向量空间里，“E-402”和“E-403”的向量距离非常近，甚至和“报错 404”也很近。单一向量检索很可能把“E-403 处理指南”作为最相关的片段召回。大模型看到这篇讲 E-403 的材料，以为这就是依据，于是把 E-403 的维修方案套在 E-402 头上。

要解决这个问题，必须构建混合检索（Hybrid Search），也就是把传统的 BM25 关键词检索和向量检索组合起来。

具体配置步骤：

1.构建双路索引：对入库的文本切片，同时建立 BM25 倒排索引和向量密集索引。

2.并行查询：用户输入问题后，系统同时发起两路搜索。BM25 负责死磕精确的关键词、数字、专有名词；向量检索负责理解自然语言的口语化表达和同义词。

3.用倒数排名融合（RRF）合并结果：不要直接把向量距离和 BM25 得分简单相加，两者的分值尺度完全不同。推荐使用 RRF（Reciprocal Rank Fusion）算法，标准平滑常数通常设为 k=60。

RRF 会根据文档在两个通道中的相对排名重新计算总分，公式为：

$RRF_Score = sum frac{1}{k + rank}$

两路检索各自召回前 30 条候选，通过 RRF 合并成一个排序列表。这样既能保证“E-402”这种特定编码被精准捞出来，又不会丢失模糊口语问答的召回率。

技巧三：在提示词之前加上“重排（Reranker）”与硬截断

很多系统在召回前 5 个或者前 10 个切片后，直接一股脑全拼在 Prompt 里发给大模型。

这也是导致大模型答非所问的主要原因。在初始检索阶段，为了防止漏掉正确答案，召回的候选池通常很宽泛。前 5 个切片里，可能只有第 3 个包含真正答案，其他 4 个只是表面相关。大模型在面对大量掺杂了弱相关信息的长文本时，会出现注意力分散或者被噪音带偏的情况。

解决办法是在检索和生成之间加入一个重排模型（Cross-Encoder Reranker）。

初筛阶段的向量检索就像用简历初筛应聘者，速度快但看得很粗；而重排模型是让模型把“用户问题”和“候选切片”拼在一起，进行深度的逐字交叉注意力计算，打分精度高得多。

落地流程如下：

1.扩大初筛范围：混合检索阶段先召回 Top 30 到 Top 50 的候选文本块。这一步的目标是保证候选池里一定包含正确答案。

2.调用 Reranker 打分：把这 30 个切片送入轻量级重排模型（例如开源的 BGE-Reranker-v2-m3，或者商业 API 如 Cohere Rerank）。

3.设置相关性硬截断：这一步是阻断幻觉的关键操作。不要固定取前 3 名，而是要设定置信度阈值。比如在归一化后，阈值设为 0.35。只有得分高于 0.35 的切片才保留，并且最多只选前 3 到 5 个送入大模型。

4.触发兜底回复：如果重排后没有任何一个切片的得分超过阈值，说明知识库里根本没有相关的依据。此时系统应当直接返回预设的兜底话术（比如“知识库中未找到关于该问题的确切记录”），严禁把低分材料送给大模型。

这一步直接斩断了模型胡思乱想的可能：给它的全是高纯度证据，没有证据时直接拒答，幻觉率会直线下跌。

四种知识库检索方案综合对比

为了方便根据具体的业务硬件和资源做选型，下面对常见的四种方案做对比：

避坑指南：动手调整前需要注意的两个细节

在动手改写管道代码时，还有两个实操中的坑要避开：

第一，不要迷信盲目增大切片长度。有人为了防止信息被切断，把单个切片设为 2000 甚至 3000 字符。过大的切片会导致向量特征被严重稀释，向量模型在算相似度时找不出重点，导致初筛召回率暴跌。保持小尺寸检索、大尺寸输入，才是稳妥的解法。

第二，注意重排阶段的性能开销。交叉编码器（Cross-Encoder）计算比向量点积重很多。千万不要把 200 个以上的候选切片扔进 Reranker，这会导致单次查询接口卡顿数秒。将初筛候选集控制在 30 到 50 之间，既能覆盖真实答案，又能把耗时压在 200 毫秒左右。

构建高质量的知识库从来不是靠堆砌模型参数，关键在于做好检索流水线里的脏活累活。把切片做规整，把关键词和语义融起来，把噪音切片硬性剔除，大模型自然就能给出准确干脆的答案。