
很多数据分析师和业务主管都跟我抱怨过同一件事:每天有一半的工作时间,都在应付各种临时的取数需求。
业务部门看到一个异常数据,跑过来问:“上周华东区复购率下降的原因是什么?”分析师就得放下手头的工作,打开 SQL 客户端开始写查询。等排查完数据、导出 Excel、做成图表发过去,半天时间已经过去了。更尴尬的是,很多时候业务方拿到报表,活动早已经结束了。
传统 BI 工具比如 Tableau、Power BI 或者帆软,确实解决了固定报表的展示问题。但是,业务是动态的。一旦遇到报表里没有的维度,业务人员自己不会写代码,依然只能找技术人员排期。
这两年 AI BI 和 ChatBI 概念很火。很多人以为只要给大模型接上数据库,在输入框里打字问“上个月各渠道毛利是多少”,屏幕上就能立刻弹出精准的折线图。
但是,如果你真的在生产环境里试过,就会发现事情完全不是这回事。
为什么直接用大模型写 SQL 会频频翻车
去年我帮一家中型电商公司搭建数据分析系统,当时技术团队最先尝试的方案非常直接:把数据库里的表结构导出来,作为 Prompt 喂给大模型,让它直接生成 SQL 去数据库查数据。
上线第一天,系统就直接跑偏了。
业务人员问了一个很简单的问题:“上个月的高价值客户流失了多少?”
大模型写出了一条语法完全合规的 SQL,没有报错,也跑出了一个数字:142。但是业务主管一眼就看出了问题:真正的数字应该是 48。
问题出在哪里?大模型根本不知道这家公司对“高价值客户”的业务定义是什么。在运营团队的字典里,“高价值客户”是指过去 90 天内累计消费超过 3000 元且退货率低于 10% 的用户。而大模型自己推测的规则,是单笔订单金额大于 500 元。
这就是直接采用 Text-to-SQL 最致命的痛点:大模型懂数据库语法,但它不懂你的业务口径。
除了口径问题,企业真实数据库的环境往往非常混乱:
•表名和字段名充斥着缩写,比如 `usr_sts_cd`、`dim_chn_tp`,人类新手都看不懂,大模型只能靠猜。
•一张订单表可能关联了 10 张维表,大模型很容易漏掉关联条件,导致产生笛卡尔积,拖垮整个生产库。
•业务逻辑分散在几十个分析师的个人脚本里,同一项“销售额”,财务算的是到账金额,销售算的是下单金额。
所以,脱离了业务语义层,单纯靠大模型直接生成 SQL,在严肃的企业级场景下根本不可用。
真正能落地的 AI BI 架构:引入语义层
目前业界成熟的 AI BI 解决方案,核心思路都是在用户与底层数据库之间,加入一层语义层(Semantic Layer)。
整个查询链路不是“自然语言直接变成 SQL”,而是分为三段:
1.大模型负责理解业务人员的话,把自然语言翻译成标准的“分析意图”。比如提取出:指标是“销售额”,维度是“按月份、按省份”,筛选条件是“状态为已发货”。
2.系统把这个意图转译成受控的领域特定语言(DSL)或者 API 请求。
3.语义引擎根据预先配置好的指标逻辑、表关联关系,自动把 DSL 编译成底层数据库的 SQL,再去执行查询。
这样一来,大模型不需要关心底层具体是哪张表、字段怎么 JOIN,它只需要负责意图识别。具体的计算口径,由语义层用代码逻辑死死锁住。只要语义层里“GMV”的计算公式是对的,查出来的数字就绝对不会出错。
为了让你更清楚技术选型的差异,我们可以把目前主流的三种 ChatBI 方案做个对比:
| 评估维度 | 方案一:直接 Text-to-SQL | 方案二:指标语义层架构 (NL2DSL) | 方案三:预置 API 检索 (NL2API) |
|---|---|---|---|
| 查询准确率 | 较低(60% – 70% 左右,容易产生幻觉) | 极高(稳定在 95% 以上,口径统一) | 高(接近 100%,由固定代码保障) |
| 前期准备工作 | 极少(只需提供表结构 Prompt) | 中等(需要梳理指标字典与元数据) | 繁重(每个场景都要人工写 API) |
| 支持复杂分析 | 表面支持,但多表关联容易出错 | 优秀(通过建模支持复杂钻取和下钻) | 差(只能回答预先写好接口的问题) |
| 数据安全管控 | 差(很难精细化控制行列权限) | 优秀(可在语义层无缝对接权限系统) | 良好(在 API 内部控制权限) |
| 适合业务场景 | 内部技术人员探索临时数据 | 企业级标准化运营与管理层问数 | 结构极其固定的高频标准看板 |
从表格可以看出来,如果你的目标是让没有技术背景的业务人员直接用,方案二(NL2DSL 结合语义层)是目前唯一可靠的路线。
从零搭建自然语言问答看板的四个步骤
如果你现在准备在自己的业务里把这套系统跑起来,不要一上来就去微调大模型。按照下面这套顺序推进,能帮你避开绝大多数坑。
第一步:整理元数据,建立物理表白名单
先不要把数仓里几百张表一股脑全配置进系统。先挑选最核心的业务宽表,通常控制在 5 到 10 张核心表即可。为每一张表的每一个字段补齐中文注释,把那些废弃的、测试用的字段彻底屏蔽掉。
第二步:在语义层固化核心指标与维度
把业务中最常问的指标定义清楚。
比如定义“退款率”:分子是 `已退款订单金额`,分母是 `总支付金额`,时间周期统一限定在交易发生后的 30 天内。
把这些规则写在语义层(比如使用 Cube、dbt Semantic Layer 或者商业 BI 的语义建模工具)中。这一步是整个系统准确率的基石,偷懒不建语义层,后续调优大模型纯属浪费时间。
第三步:配置意图识别与上下文追问
真实的数据分析从来不是一问一答就结束的,往往伴随着连续追问。
业务问完:“上个月北京地区的销售额是多少?”
紧接着会问:“那按品类分呢?”
系统必须具备上下文对话状态管理能力,把第二句话里的隐式条件(“上个月”、“北京地区”)自动补全,生成连贯的分析条件。
第四步:配置数据安全与行级权限
在语义层和数据库执行层之间加一道拦截网。
当华北区的销售经理提问时,系统必须自动在底层查询逻辑里拼接 `WHERE region = ‘华北’`,确保他绝对看不到华南区的数据。不能指望大模型通过 Prompt 自觉遵守数据保密规则,权限必须在代码引擎层做物理隔离。
实际落地中的三个避坑建议
1. 必须提供查询过程的人机验证界面
当业务人员问出一个问题后,AI BI 生成图表的同时,务必在界面侧边栏展示出系统理解的逻辑线索。比如明确标注:“本次查询包含:【指标:净利润】、【时间:2024年第3季度】、【排除:测试订单】”。如果业务人员发现 AI 理解错了前提,可以手动点击修改。这比让业务盲目相信一个数字要安全得多。
2. 严格限制 SQL 的单次执行超时与扫描行数
大模型偶尔还是会生成意料之外的聚合语句。在数据库连接池里必须配置硬性防护:单次查询超过 10 秒直接熔断,扫描数据行数超过千万级直接报错并拦截。 这样可以防止某个人随手问了一句模糊的宏观问题,把正在跑业务的主库直接查挂。
3. 用少量高质量的业务问答作为 Few-Shot 示例
通用大模型对行业黑话理解有限。在提问路由阶段,整理 20 到 30 个你们公司内部最常问的真实问题,配上标准答案的 DSL 结构,放到 Prompt 里作为示例。这样做可以让大模型在意图识别上的准确度实现立竿见影的改善,根本不需要花大价钱去做模型微调。
把数据查询从“提需求给分析师”转变为“自己对话查看板”,技术本质不是让 AI 取代数据分析师,而是让大模型去承担那些机械、重复的取数跑批工作。
把底层的语义口径梳理干净,把权限和熔断机制做好,剩下的事情,交给自然语言交互就足够了。
原创文章,作者:七点互动,如若转载,请注明出处:https://ai.qidianhudong.com/aiyy/ai-date/4928.html