
很多人搭建 AI 知识库,第一步就卡在各种技术名词上。文档里充斥着 HNSW 索引、余弦相似度、Top-K、Embedding 维度这些词,让人觉得必须把数学原理搞透才能动手。
我去年帮两家公司搭建内部技术知识库,踩了无数坑后发现一个事实:知识库能不能用,80% 的工作不在大模型本身,而在数据切分与检索管线。大模型只是负责读懂上下文并组织语言,如果检索出来的参考资料不对,模型再聪明也只能给出胡说八道的回答。
搭建一个实用的本地或企业知识库,核心流程其实就四个环节:清洗切分、向量存储、混合检索、精细重排。
第一步:文档清洗与文本切分(Chunking)
很多人建知识库的第一步,是把几百页的 PDF、Word 文档一股脑扔进解析工具。这样做出来的知识库基本不可用。
文档里经常有大量的页眉、页脚、无意义的分页符和乱码表格。如果这些噪点混进向量库,会严重干扰检索准确率。先做格式转换,把所有文档统一提取为纯文本或干净的 Markdown 格式,然后清洗掉无意义符号。
清洗完毕后,核心工作是“切片”。向量模型单次能处理的语义长度有限,我们必须把长文档切成一段段小文本。
切分的核心参数有两项:分块大小(Chunk Size)与重叠比例(Overlap)。
•推荐分块大小:400 到 512 个字符。切片太长,语义会被稀释;切片太短,上下文信息会丢失。
•推荐重叠大小:10% 到 15%(约 50 个字符)。设置重叠可以避免关键句子恰好被从中间切断。
在实际项目中,纯粹按字符数硬切很容易切断语义。你可以使用基于文档结构的递归切分方法(Recursive Character Splitting):先尝试按双换行(段落)切,段落超长再按单换行切,最后才按标点符号切。这样能尽量保留完整的段落意思。
第二步:向量数据库与 Embedding 选型
文本切片后,需要通过 Embedding 模型转换成高维向量,再存进向量数据库。
对于中文知识库,开源的 bge-large-zh-v1.5 或商用的 text-embedding-3-small 表现都很稳定。这里有一个核心铁律:写入向量库的模型版本与检索查询时使用的模型必须完全一致。如果你中途更换了向量模型,所有存量数据必须全量重新计算向量,否则两边的向量空间无法对齐。
关于向量数据库选型,很多人在十几款开源工具里纠结。下面是我在真实生产环境里测试对比的几个主流方案:
| 向量数据库 | 适用场景 | 部署与运维成本 | 混合检索支持 | 单机数据量推荐 | 常见缺点 |
|---|---|---|---|---|---|
| Chroma | 本地原型验证、个人桌面端 | 极低(Python 进程内直跑或轻量 Docker) | 较弱,主要依赖纯向量 | 10 万条切片以内 | 并发能力弱,大规模数据下查询延迟明显 |
| pgvector | 团队已有 PostgreSQL 基础设施 | 低(现有数据库增加插件) | 好(直接配合 PG 全文检索) | 100 万条切片以内 | 数据量超过数百万后,构建索引耗时长且内存占用高 |
| Qdrant | 中大型企业生产环境、私有化部署 | 中等(Rust 编写,单容器部署稳定) | 极好(原生支持稀疏向量与 Dense 混合) | 1000 万条切片 | 对运维监控配置有一定要求 |
| Milvus | 亿级超大规模向量检索、分布式集群 | 高(依赖 etcd、MinIO、Pulsar 等组件) | 好(2.4+ 版本支持多向量与混合检索) | 亿级以上 | 架构复杂,微服务组件多,小团队运维负担重 |
选型建议很简单:如果你的业务原本就在用 PostgreSQL,直接开启 pgvector 插件即可,不用新增任何中间件;如果你需要一个专门的高性能向量库,Qdrant 是目前运维成本和性能表现平衡得最好的选择。
第三步:为什么单纯的向量检索一定会翻车?
很多人把数据存进向量库后,直接用用户的提问去算相似度,取 Top-5 喂给大模型。测试几次就会发现问题:
比如用户搜索某个具体型号“X-204 报错 502”,向量检索算出来的内容可能是“关于 X 系列服务器的一般维护指南”。从语义上看,两段话都在聊服务器故障,相似度很高;但它唯独没有匹配到包含“X-204”和“502”的具体维修切片。
这就是纯向量检索(稠密检索)的致命弱点:它擅长理解模糊语义和同义词替换,但对专有名词、产品型号、错误代码这类精准关键词极度迟钝。
要解决这个问题,必须引入混合检索(Hybrid Search):
1.关键词检索(稀疏检索):使用传统的 BM25 算法,负责抓取包含精准字词的切片。
2.向量检索(稠密检索):使用 Embedding 向量匹配,负责抓取语义相关的切片。
3.倒数排名融合(RRF):将两路检索返回的候选列表通过公式排序合并,避免不同评分体系无法直接相加的问题。
数据显示,在技术文档和企业制度问答中,引入混合检索相比纯向量检索,切片召回准确率平均可以改善 20% 到 35%。
第四步:加入重排(Rerank),给准确率兜底
很多人以为混合检索出来的结果就能直接用了,其实还差最后一步。
向量检索与 BM25 为了追求搜索速度,都属于双塔或单塔模型,无法细致比对“问题”与“候选切片”之间的逐字交互。这就导致 Top-5 结果里虽然包含了相关信息,但最精准的答案经常排在第 4 名甚至第 5 名。大模型在阅读长文本时,存在“迷失在中间(Lost in the Middle)”的现象,对夹在中间的参考资料关注度很低。
把重排模型(Reranker)加入流程,是纠正这一排序偏差最有效的手段。
重排模型采用交叉编码器(Cross-Encoder)架构,它把用户问题和切片拼在一起同时输入模型,计算两者之间的真实关联度。速度比向量检索慢,但打分精度高得多。
实际落地时的检索漏斗应该这样设计:
•先通过混合检索,从海量知识库中初筛出 前 30 到 50 个候选切片(这个过程耗时通常在 20ms 到 50ms 之间)。
•将这 50 个切片送入本地部署的 bge-reranker-large 模型进行重新打分。
•只截取最终得分最高的 前 3 到 5 个切片 组装进 Prompt,交给大模型生成回答。
落地搭建的五步执行清单
如果你正准备动手搭建,按照下面这套顺序执行,能避开大部分弯路:
1.第一步:清洗原始文件。剔除页眉、页脚与无意义图表,统一将文本转为规范的 Markdown。
2.第二步:按规则分块并写入元数据。分块长度控制在 500 字符以内,保持 50 字符重叠。每个切片必须打上元数据标签(如所属部门、产品类别、更新时间)。元数据可以在后续检索时做前置硬过滤,直接剔除不符合范围的噪音。
3.第三步:写入向量库并建立索引。选定一款固定的 Embedding 模型,将文本与向量同步存入 Qdrant 或启用了 pgvector 的数据库中。
4.第四步:编写混合检索流程。同时发起向量检索与 BM25 检索,设置候选池大小为 50,通过 RRF 合并结果。
5.第五步:接入 Rerank 过滤并组装 Prompt。用重排模型提取 Top-3 内容,以“请根据以下参考资料回答问题,资料中未提及的内容请明确告知不知道”作为提示词模板,最后调用大模型输出结果。
做 AI 知识库不要指望一步到位。先用少量真实业务问答作为测试集,观察检索阶段到底有没有把正确答案筛出来。把切分粒度、混合检索权重和重排配置调整好,系统的整体表现自然就会稳定下来。
原创文章,作者:七点互动,如若转载,请注明出处:https://ai.qidianhudong.com/aikonw/4574.html