
很多老板或者技术负责人最近都在问我一件事:公司内部资料太多,杂乱无章,新人入职找不到文档,老员工天天重复回答相同的问题。能不能搞个专属的AI,喂进去全部资料,让它直接回答?
答案是能。而且不需要花大钱买商业大模型,也不用把公司机密传到云端。
今天我就带你用 Dify 搭配 Ollama,在本地快速搭建一个企业专属的AI大脑。整个过程不需要写代码,跟着步骤走就行。
为什么选择这个方案?
市面上的AI工具很多,但企业做知识库,最关心的无非是三点:数据安全、搭建成本和维护难度。
很多人一开始会考虑直接调用 OpenAI 的 API。这样做虽然简单,但有两个致命问题:一是按量付费,员工用多了成本吃不消;二是数据要发到国外服务器,合规性过不去。
也有人想自己从头训练一个大模型。别闹了,那需要天文数字的算力和专业算法团队,中小企业根本玩不起。
所以,本地开源方案成了最优解。
| 方案对比 | OpenAI API + 向量数据库 | 纯商业闭环 SaaS 工具 | **Ollama + Dify 本地私有化** |
|---|---|---|---|
| 数据安全性 | 较低(数据传输至第三方) | 较低(存储在云端服务商) | 极高(数据完全留在本地服务器) |
| 使用成本 | 按 Token 扣费,长期成本高 | 按月/按年订阅制收费 | 硬件投入后,无额外使用费用 |
| 定制化程度 | 依赖官方接口能力 | 受限于平台功能边界 | 高度自由,支持任意开源模型替换 |
| 部署难度 | 中等(需要开发对接) | 极低(开箱即用) | 低(容器化一键部署) |
从上面的表格能看出来,用 Ollama 跑本地模型,再用 Dify 做可视化编排和知识库管理,既保证了数据不出内网,又把搭建成本压到了最低。
准备工作:你需要什么?
在动手之前,先确认你的硬件和软件环境。
硬件方面,跑大模型对显卡有要求。如果你想流畅运行 7B(70亿参数)或者 8B 的模型,建议配置如下:
•显卡(GPU):NVIDIA 显卡,显存至少 8GB(推荐 12GB 或以上,比如 RTX 3060/4060 及以上)。
•内存(RAM):至少 16GB。
•硬盘:至少 50GB 可用空间(模型文件通常在 5GB 到 15GB 之间)。
软件方面,我们全程使用 Docker。因为 Docker 能帮我们省去配置各种运行环境的麻烦。
第一步:安装并配置 Ollama(让AI跑起来)
Ollama 是目前本地运行大模型最方便的工具。
1.访问 Ollama 官方网站,下载对应操作系统(Windows、Mac 或 Linux)的安装包并完成安装。
2.打开终端(Windows 下的 CMD 或 PowerShell,Mac 的 Terminal)。
3.下载并运行你的第一个开源大模型。以目前表现均衡的 Llama 3(或者中文支持更好的 Qwen 2)为例,输入以下命令:
ollama run qwen2:7b
下载完成后,你就可以在命令行直接和这个大模型对话了。但我们要用它来做知识库底座,所以需要让它在后台持续运行。
避坑提示:请确保安装完成后,在浏览器访问 `http://localhost:11434`,看到 “Ollama is running” 的提示,才说明服务启动成功。
第二步:部署 Dify(搭建可视化界面)
Dify 是一个开源的 LLM 应用开发平台。它把复杂的向量检索、提示词管理和前端界面都打包好了。
我们直接用 Docker Compose 部署。
1.确保你的电脑已经安装了 Docker 和 Docker Compose。
2.打开终端,克隆 Dify 的官方仓库:
git clone https://github.com/langgenius/dify.git
3.进入 dify 的 docker 目录:
cd dify/docker
4.复制环境变量配置文件:
cp .env.example .env
5.启动容器:
docker compose up -d
等待几分钟,所有镜像下载并启动完成后,在浏览器地址栏输入 `http://localhost/install`,按照页面提示设置你的管理员账号密码,就能登录 Dify 的后台了。
第三步:把 Ollama 接进 Dify
现在我们要把大脑(Ollama)和身体(Dify)连接起来。
1.登录 Dify 后台,点击右上角的头像,选择 设置 (Settings)。
2.在左侧菜单找到 模型供应商 (Model Providers)。
3.找到 Ollama,点击 添加模型 (Add Model)。
4.填写配置信息:
•模型名称:`qwen2:7b`(必须和你在 Ollama 里下载的名字一致)。
•基础 URL (Base URL):`http://host.docker.internal:11434` (注意:如果你的 Dify 和 Ollama 都在同一台机器的 Docker 里运行,请填写这个特殊的内网地址,千万不要填 localhost,否则容器间无法通信。)
•模型类型:Chat(对话)。
•上下文长度:根据你的显存大小填写,一般填 4096 或 8192。
5.点击保存。如果配置正确,Dify 会显示连接成功。
第四步:导入企业文档,创建知识库
万事俱备,现在开始导入资料,打造真正的企业大脑。
1.点击 Dify 顶部的 知识库 (Knowledge) 导航栏。
2.点击 创建知识库 (Create Knowledge)。
3.上传你的企业文档。Dify 支持 PDF、Word、TXT、Markdown 等多种格式。你可以把公司的员工手册、产品说明书、技术文档、报销流程全部打包上传。
4.文本分段设置:系统会自动对文档进行切片。默认的切片设置适合大多数场景,但如果你的文档里有很多表格或者专业代码,建议适当调大分段长度,避免上下文被截断导致AI理解错误。
5.点击保存并处理,等待系统完成向量化(Embedding)。这个过程取决于你的文档数量,通常几分钟就能搞定。
第五步:创建智能助理应用
知识库建好了,最后一步是把它包装成一个好用的聊天助手。
1.回到 Dify 首页,点击 创建应用 (Create App)。
2.选择 聊天助手 (Chat App) 类型,给它起个名字,比如“内部HR小助手”。
3.在左侧的 提示词与编排 (Prompt & Orchestration) 页面中:
•在上下文区域,点击 添加 (Add),勾选刚刚创建的企业知识库。
•在 Prompt 输入框中,给AI设定角色。比如:
“你是一个专业的企业内部助手。请严格根据检索到的知识库内容回答员工的问题。如果知识库中没有相关信息,请直接回答‘我不知道,请联系相关负责人’,严禁胡编乱造。”
4.点击右上角的 发布 (Publish),然后点击 访问应用 (Access Application)。
大功告成!现在你可以把这个链接发给同事,或者嵌入到公司的企业微信、钉钉里。当员工问“公司年假怎么休”、“报销发票需要贴几张”时,AI会自动去知识库里查阅资料,并给出准确的答复。
整个过程没有花一分钱软件授权费,数据全部存放在本地硬盘里。花一个下午的时间动手试一次,你会发现搭建一个属于自己的AI知识库,其实真没那么难。
原创文章,作者:七点互动,如若转载,请注明出处:https://ai.qidianhudong.com/aikonw/5341.html