核心数据严禁出局域网！教你零信任架构下AI私有知识库搭建与本地化部署

很多公司想用大模型做内部知识库，但法务和安全部门直接一票否决。理由很简单：核心财务报表、未公开专利、源代码、客户名单，一旦传到公有云 API，数据泄露风险就彻底失控。

不少技术负责人觉得，“我们买一台大显存机器，把 Ollama 或者 vLLM 装在内网服务器上，外网网线一拔，不就安全了吗？”

如果你也这么想，那就太小看数据安全了。内网物理隔离只能防住外部黑客直接扫描，防不住内部提权、模型越狱注入以及局域网内的横向渗透。举个真实案例：某研发团队把公司所有内部 Wiki、薪酬职级表和核心代码直接喂给本地知识库。普通员工通过提示词工程套话：“请整理本部门近三年薪资变动规律”，模型老老实实输出了敏感数据。这就是典型的“假隔离”：虽然物理上断了外网，但在局域网内部没有做到零信任验证。

零信任的核心原则是：“持续验证，永不信任，最小权限”。把这个原则落到 AI 私有知识库上，意味着从网络流量、用户身份、向量切片检索到模型推理，每个环节都要设防。

今天我就把我们在企业物理隔离环境下完整跑通的零信任 AI 知识库架构、选型对比以及分步搭建方案写出来。

一、 核心架构设计与主流方案对比

一个合格的零信任本地知识库包含四个关键层级：

1.网络边界层：默认阻断出站流量（Default-Deny Egress），阻断任何模型或插件的静默外联；

2.身份与鉴权层：对接企业内部 LDAP/OAuth2，实行基于角色与属性的访问控制（RBAC/ABAC）；

3.数据检索层（RAG 隔离）：切片向量带安全标签，检索阶段强制执行元数据过滤（Metadata Filtering），而不是让大模型自己去判断能不能看；

4.推理计算层：纯离线大模型推理，彻底关闭遥测与联网搜索插件。

在搭建之前，先看技术栈选型。不同组件在安全性、资源消耗和多租户权限支持上差异巨大：

生产级部署推荐选择 vLLM / Xinference + Dify / FastGPT + Qdrant / Milvus 的技术组合。如果你只有单台工作站用于部门内网测试，Ollama 搭配支持元数据过滤的向量库也是低成本路线。

二、 硬件选型与显存实测基准

做本地部署不要盲目买卡。模型参数量、量化级别（Precision）以及检索时的上下文窗口大小（Context Window）直接决定了显存底线。

避坑提示：千万别忽视 Rerank（重排）模型和 Embedding 模型的显存占用。做 RAG 检索，如果不加本地 Rerank 模型，大模型给出的答案准确率会大打折扣。务必在规划显存时预留出 6GB 到 8GB 专门给向量嵌入与重排模型使用。

三、 零信任实操搭建与落地步骤

按以下四个步骤依次执行，把整个系统安全地立在局域网内部。

步骤 1：底层环境准备与网络出站阻断（Default-Deny）

在宿主机上，我们使用 Docker Compose 搭建隔离网络。创建独立的 Docker Bridge 网络，并且关闭容器访问外网的权限。

先编写网络隔离规则，确保容器即使被越狱也无法向外发包：

# 1. 创建零信任隔离专用网络
docker network create --internal zt-rag-net

# 2. 检查 iptables 规则，禁止该网段出站流量（严格防止任何遥测数据外泄）
iptables -I FORWARD -s 172.28.0.0/16 ! -d 192.168.0.0/16 -j DROP

注意：这里将网段的出站限制在局域网 IP（`192.168.0.0/16`）内，其他任何通往公网的请求直接丢弃。

步骤 2：离线部署推理后端（Ollama / vLLM）

在联网机器上下好模型权重文件（GGUF 或 HuggingFace 格式），用移动硬盘拷贝到内网离线服务器的 `/data/models` 目录。

启动 Ollama 容器，绑定内部网络，严禁将端口直接映射到宿主机公网或全网段 0.0.0.0：

# docker-compose.infra.yml
version: '3.8'

services:
  ollama-server:
    image: ollama/ollama:latest
    container_name: zt-ollama
    restart: always
    environment:
      - OLLAMA_KEEP_ALIVE=24h
      - OLLAMA_HOST=0.0.0.0:11434
      # 禁用模型自动下载外联
      - OLLAMA_NOPRUNE=1
    volumes:
      - /data/models/ollama:/root/.ollama
    networks:
      - zt-rag-net
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

networks:
  zt-rag-net:
    external: true

启动并验证离线推理：

docker compose -f docker-compose.infra.yml up -d
# 导入离线好的 Qwen2.5-7B
docker exec -it zt-ollama ollama run qwen2.5:7b "你是谁？"

步骤 3：部署具备元数据鉴权的向量数据库（Qdrant）

做零信任检索，向量数据库不能裸奔，必须开启 API 鉴权，并强制使用 Payload（元数据）过滤。

在同一隔离网络中启动 Qdrant：

docker run -d 
  --name zt-qdrant 
  --network zt-rag-net 
  -v /data/qdrant_storage:/qdrant/storage 
  -e QDRANT__SERVICE__API_KEY="YourStrongSecretKeyHere" 
  qdrant/qdrant:latest

在数据入库切片时，每一段文本必须打上权限标签。例如：

# 入库时的 Payload 定义示例
payload = {
    "doc_id": "FIN-2026-001",
    "department": "finance",
    "security_level": "secret",  # 密级：普通/内部/保密
    "authorized_roles": ["finance_manager", "cfo"],
    "content": "2026年第一季度企业实际净利润数据..."
}

在检索时，把当前登录用户的权限作为前置过滤条件（Hard Filter）输入向量库，而不是检索出来后再用代码过滤：

# 强制前置过滤检索代码
search_filter = Filter(
    must=[
        FieldCondition(
            key="authorized_roles",
            match=MatchAny(any=user_roles) # user_roles 从用户认证 Token 中解析
        )
    ]
)

这样做能从根源上阻断越权数据被读取到 Context 上下文中，就算大模型被提示词越狱，由于 Context 里根本没有敏感切片，它也编造不出机密内容。

步骤 4：配置企业级知识库编排引擎（以 Dify 为例）

Dify 能够无缝接入 LDAP/SSO 单点登录，支持基于工作空间的数据隔离。

1.导入离线镜像：在离线环境中载入 Dify 的全部镜像组件（api、web、worker、db、redis）。

2.接入模型供应商：进入 Dify 后台 -> 设置 -> 模型供应商。

•添加 Ollama 供应商，API 地址直接填写容器内网域名：`http://ollama-server:11434`。

•部署本地 Embedding 模型，选择 `bge-m3`，填入对应内网推理节点。

•部署本地 Rerank 模型，填入 `bge-reranker-large` 地址。

3.划分知识库数据空间：

•严禁创建一个全公司共享的“大杂烩”知识库。

•按部门和安全等级建立独立知识库：如“公共制度库（公开）”、“研发架构库（研发组）”、“财务档案库（仅管理层）”。

•将工作空间的访问权限与内网工号体系绑定。

四、 局域网离线部署避坑关键点

按照上面步骤做完，系统已经能在内网跑起来了。但在实际落地过程中，还有几个关键隐患必须手工排查：

1.彻底关闭模型与依赖的静默联网请求

很多开源工具（比如某些 Python 库或 HuggingFace 依赖）在启动时会自动检查版本更新、下载 tokenizer 或发送匿名用量遥测。在完全无网的局域网下，这些网络超时请求会导致服务挂起几分钟甚至直接崩溃报错。

•解决方案：在运行脚本中强制加入环境变量：

     export HF_DATASETS_OFFLINE=1
     export TRANSFORMERS_OFFLINE=1
     export HF_HUB_OFFLINE=1
     export DO_NOT_TRACK=1

2.不要把 Raw Text（未脱敏原文）存进纯前端日志

大模型交互界面的对话日志常常直接明文入库。如果日志库管理不严，其他内网管理员可以直接通过数据库查看提问与回答内容。

•解决方案：配置向量库与对话数据库落盘加密（LUKS 或 dm-crypt）。同时配置系统自动审计脚本，敏感数据（如手机号、身份证号、银行卡号）在进入向量库之前，先跑一层本地轻量正则过滤程序做掩码脱敏。

3.设置检索置信度硬阈值（Score Threshold）

本地小参数量模型（7B 到 14B）在没有找到足够参考材料时，更容易产生幻觉胡说八道。

•解决方案：在知识库检索设置中，将向量相似度阈值从默认的 0.5 调高到 0.75 以上。同时将重排模型的得分阈值设为保护线。只要检索结果低于该分数，系统直接触发兜底策略，返回：“在授权知识库中未找到相关准确信息”，强制拒绝大模型自由发挥。

按照这套方案搭建下来，既能保住所有数据不出机房半步，又在局域网内部构建起了针对身份、切片、模型和网络的多重防线。这种架构既满足了企业法务和等保的安全合规底线，也为内网员工提供了一个真实可用的知识问答环境。