教你用DIFY与OLLAMA快速建知识库 轻松搞定企业专属AI大脑

教你用DIFY与OLLAMA快速建知识库 轻松搞定企业专属AI大脑

很多老板或者技术负责人最近都在问我一件事:公司内部资料太多,杂乱无章,新人入职找不到文档,老员工天天重复回答相同的问题。能不能搞个专属的AI,喂进去全部资料,让它直接回答?

答案是能。而且不需要花大钱买商业大模型,也不用把公司机密传到云端。

今天我就带你用 Dify 搭配 Ollama,在本地快速搭建一个企业专属的AI大脑。整个过程不需要写代码,跟着步骤走就行。

为什么选择这个方案?

市面上的AI工具很多,但企业做知识库,最关心的无非是三点:数据安全、搭建成本和维护难度。

很多人一开始会考虑直接调用 OpenAI 的 API。这样做虽然简单,但有两个致命问题:一是按量付费,员工用多了成本吃不消;二是数据要发到国外服务器,合规性过不去。

也有人想自己从头训练一个大模型。别闹了,那需要天文数字的算力和专业算法团队,中小企业根本玩不起。

所以,本地开源方案成了最优解。

方案对比 OpenAI API + 向量数据库 纯商业闭环 SaaS 工具 **Ollama + Dify 本地私有化**
数据安全性 较低(数据传输至第三方) 较低(存储在云端服务商) 极高(数据完全留在本地服务器)
使用成本 按 Token 扣费,长期成本高 按月/按年订阅制收费 硬件投入后,无额外使用费用
定制化程度 依赖官方接口能力 受限于平台功能边界 高度自由,支持任意开源模型替换
部署难度 中等(需要开发对接) 极低(开箱即用) 低(容器化一键部署)

从上面的表格能看出来,用 Ollama 跑本地模型,再用 Dify 做可视化编排和知识库管理,既保证了数据不出内网,又把搭建成本压到了最低。

准备工作:你需要什么?

在动手之前,先确认你的硬件和软件环境。

硬件方面,跑大模型对显卡有要求。如果你想流畅运行 7B(70亿参数)或者 8B 的模型,建议配置如下:

•显卡(GPU):NVIDIA 显卡,显存至少 8GB(推荐 12GB 或以上,比如 RTX 3060/4060 及以上)。

•内存(RAM):至少 16GB。

•硬盘:至少 50GB 可用空间(模型文件通常在 5GB 到 15GB 之间)。

软件方面,我们全程使用 Docker。因为 Docker 能帮我们省去配置各种运行环境的麻烦。

第一步:安装并配置 Ollama(让AI跑起来)

Ollama 是目前本地运行大模型最方便的工具。

1.访问 Ollama 官方网站,下载对应操作系统(Windows、Mac 或 Linux)的安装包并完成安装。

2.打开终端(Windows 下的 CMD 或 PowerShell,Mac 的 Terminal)。

3.下载并运行你的第一个开源大模型。以目前表现均衡的 Llama 3(或者中文支持更好的 Qwen 2)为例,输入以下命令:

ollama run qwen2:7b

下载完成后,你就可以在命令行直接和这个大模型对话了。但我们要用它来做知识库底座,所以需要让它在后台持续运行。

避坑提示:请确保安装完成后,在浏览器访问 `http://localhost:11434`,看到 “Ollama is running” 的提示,才说明服务启动成功。

第二步:部署 Dify(搭建可视化界面)

Dify 是一个开源的 LLM 应用开发平台。它把复杂的向量检索、提示词管理和前端界面都打包好了。

我们直接用 Docker Compose 部署。

1.确保你的电脑已经安装了 Docker 和 Docker Compose。

2.打开终端,克隆 Dify 的官方仓库:

git clone https://github.com/langgenius/dify.git

3.进入 dify 的 docker 目录:

cd dify/docker

4.复制环境变量配置文件:

cp .env.example .env

5.启动容器:

docker compose up -d

等待几分钟,所有镜像下载并启动完成后,在浏览器地址栏输入 `http://localhost/install`,按照页面提示设置你的管理员账号密码,就能登录 Dify 的后台了。

第三步:把 Ollama 接进 Dify

现在我们要把大脑(Ollama)和身体(Dify)连接起来。

1.登录 Dify 后台,点击右上角的头像,选择 设置 (Settings)。

2.在左侧菜单找到 模型供应商 (Model Providers)。

3.找到 Ollama,点击 添加模型 (Add Model)。

4.填写配置信息:

•模型名称:`qwen2:7b`(必须和你在 Ollama 里下载的名字一致)。

•基础 URL (Base URL):`http://host.docker.internal:11434` (注意:如果你的 Dify 和 Ollama 都在同一台机器的 Docker 里运行,请填写这个特殊的内网地址,千万不要填 localhost,否则容器间无法通信。)

•模型类型:Chat(对话)。

•上下文长度:根据你的显存大小填写,一般填 4096 或 8192。

5.点击保存。如果配置正确,Dify 会显示连接成功。

第四步:导入企业文档,创建知识库

万事俱备,现在开始导入资料,打造真正的企业大脑。

1.点击 Dify 顶部的 知识库 (Knowledge) 导航栏。

2.点击 创建知识库 (Create Knowledge)。

3.上传你的企业文档。Dify 支持 PDF、Word、TXT、Markdown 等多种格式。你可以把公司的员工手册、产品说明书、技术文档、报销流程全部打包上传。

4.文本分段设置:系统会自动对文档进行切片。默认的切片设置适合大多数场景,但如果你的文档里有很多表格或者专业代码,建议适当调大分段长度,避免上下文被截断导致AI理解错误。

5.点击保存并处理,等待系统完成向量化(Embedding)。这个过程取决于你的文档数量,通常几分钟就能搞定。

第五步:创建智能助理应用

知识库建好了,最后一步是把它包装成一个好用的聊天助手。

1.回到 Dify 首页,点击 创建应用 (Create App)。

2.选择 聊天助手 (Chat App) 类型,给它起个名字,比如“内部HR小助手”。

3.在左侧的 提示词与编排 (Prompt & Orchestration) 页面中:

•在上下文区域,点击 添加 (Add),勾选刚刚创建的企业知识库。

•在 Prompt 输入框中,给AI设定角色。比如:

“你是一个专业的企业内部助手。请严格根据检索到的知识库内容回答员工的问题。如果知识库中没有相关信息,请直接回答‘我不知道,请联系相关负责人’,严禁胡编乱造。”

4.点击右上角的 发布 (Publish),然后点击 访问应用 (Access Application)。

大功告成!现在你可以把这个链接发给同事,或者嵌入到公司的企业微信、钉钉里。当员工问“公司年假怎么休”、“报销发票需要贴几张”时,AI会自动去知识库里查阅资料,并给出准确的答复。

整个过程没有花一分钱软件授权费,数据全部存放在本地硬盘里。花一个下午的时间动手试一次,你会发现搭建一个属于自己的AI知识库,其实真没那么难。

原创文章,作者:七点互动,如若转载,请注明出处:https://ai.qidianhudong.com/aikonw/5341.html

赞 (0)
七点互动七点互动
为什么大家都爱用的知识库网站能大幅提升远程协作体验
上一篇 2026-11-20 10:19:36
探索知识库的 核心架构与高效搭建方法 告别资料混乱的烦恼
下一篇 2026-11-21 10:02:46

相关推荐

发表回复

登录后才能评论