
做多模型开发,很多人最先崩溃的不是写提示词,而是接接口。
上个月我帮一个朋友梳理他们的客服与文档分析系统。后台代码里接了四个模型厂商:OpenAI 的 GPT-4o、Anthropic 的 Claude 3.5 Sonnet、Google 的 Gemini 1.5 Pro,还有国内的 DeepSeek-V3。
打开他们的代码仓库,光是负责请求模型的模块就写了四套逻辑。每个厂商的 SDK 不一样,参数格式不一样,报错状态码不一样。Anthropic 报 429 限流时,代码没做重试,用户直接在前端看到报错白屏。而且财务每个月要对四份账单,充值还要换不同的币种和信用卡。
这还不是最烧钱的。他们把所有用户提问都一股脑塞给最贵的 Claude 3.5 Sonnet。其实里面超过 60% 的请求只是简单的意图识别和分类,完全可以用每百万 Token 只要两毛钱的模型来做。
这种混乱完全不需要靠手写复杂的适配代码解决。配置一个 AI聚合API(AI网关),把所有上游模型收归到一个统一入口,就能一次性解决接口繁琐和成本失控的问题。
什么是 AI聚合API?
简单来说,AI聚合API 就是摆在你的业务代码和各个大模型厂商之间的一个“中转路由器”。
它的工作方式很直接:
对外,它只暴露一个标准的 OpenAI 兼容接口(即 `/v1/chat/completions`)。
对内,它把不同厂商的入参、出参、流式传输(SSE)、错误码转换成同一种格式。
你的代码只需要调用这一个地址。当你想换模型、做主备容灾、或者给不同员工分配用量额度时,在网关后台改配置即可,业务代码一行都不用动。
目前市面上主流的方案主要分为两类:一类是第三方全托管平台,另一类是开源自建网关。下面是几种常见方案的横向对比:
| 选型方案 | 部署方式 | 费用成本 | 适用场景 | 核心优势 | 潜在短板 |
|---|---|---|---|---|---|
| OpenRouter | 商业全托管 | 充值收取约 5.5% 手续费(自带 Key 有免费额度) | 个人开发者、中小团队、快速原型验证 | 零运维成本,开箱即用支持 400+ 模型 | 数据经过第三方服务器,网络延迟受限 |
| LiteLLM Proxy | 开源自建(Python/Docker) | 开源核心免费,只需自备服务器 | 工程师团队、对数据隐私要求高、需要深度定制代码 | 支持多模型 Fallback、虚拟密钥管理、自带缓存 | 需要自行维护 Docker、Redis 和数据库 |
| New API / One API | 开源自建(Go/Docker) | 开源核心免费,只需自备服务器 | 团队内部 Token 分发、多渠道配额管理 | Web 控制台功能全面,渠道权重配置直观 | 代码逻辑侧重分发计费,路由规则颗粒度不如代码网关细 |
如果你不想管服务器,直接买 OpenRouter 充值就能用;如果你在企业内工作,或者对调用延迟和数据隐私有要求,用 LiteLLM 自己搭一套是最稳妥的方案。
下面我以目前工业界最常用的开源方案 LiteLLM Proxy 为例,带你走一遍完整的部署与降本配置流程。
实操步骤:30分钟搭建自己的聚合API
整个搭建过程分为四个具体步骤:准备配置文件、容器启动、配置降级规则、客户端接入。
第一步:编写核心路由配置文件
在你的服务器上新建一个目录,比如 `ai-gateway`,然后在里面创建一个 `config.yaml`。
这个文件定义了上游对接哪些模型、主备降级顺序以及超时时间。
model_list:
# 主模型:Claude 3.5 Sonnet
- model_name: premium-coder
litellm_params:
model: anthropic/claude-3-5-sonnet-20241022
api_key: "os.environ/ANTHROPIC_API_KEY"
rpm: 1000
# 备用模型 1:GPT-4o
- model_name: premium-coder-backup
litellm_params:
model: openai/gpt-4o
api_key: "os.environ/OPENAI_API_KEY"
# 经济型模型:DeepSeek-V3
- model_name: cheap-fast
litellm_params:
model: openai/deepseek-chat
api_base: "https://api.deepseek.com"
api_key: "os.environ/DEEPSEEK_API_KEY"
# 配置故障自动降级规则
router_settings:
routing_strategy: "latency-based-routing"
fallbacks:
- premium-coder: ["premium-coder-backup", "cheap-fast"]
allowed_fails: 2
cooldown_time: 30
num_retries: 2
timeout: 30
在这段配置里,有几个关键参数必须注意:
1.`fallbacks`(故障转移):当 `premium-coder` 请求连续失败 2 次或者超时 30 秒时,网关会自动将当前请求切到 `premium-coder-backup`(GPT-4o),如果还失败,再切到 `cheap-fast`。这保证了前端业务永远不报错中断。
2.`api_key` 使用环境变量:严禁把真实 Key 硬编码在配置文件中。这里用 `os.environ/KEY_NAME` 引用系统环境变量。
第二步:通过 Docker Compose 启动网关服务
在同一个目录下创建 `docker-compose.yml` 文件。我们需要启动 LiteLLM 容器和一个 Redis 容器。Redis 用来存储密钥用量以及做缓存。
version: '3.8'
services:
redis:
image: redis:7-alpine
restart: always
volumes:
- redis_data: /app/data
litellm:
image: ghcr.io/berriai/litellm:main-latest
restart: always
ports:
- "4000:4000"
volumes:
- ./config.yaml:/app/config.yaml
environment:
- ANTHROPIC_API_KEY=sk-ant-xxxxxx
- OPENAI_API_KEY=sk-proj-xxxxxx
- DEEPSEEK_API_KEY=sk-xxxxxx
- LITELLM_MASTER_KEY=sk-master-admin-key-8888
- REDIS_HOST=redis
- REDIS_PORT=6379
command: [
"--config", "/app/config.yaml",
"--port", "4000",
"--num_workers", "4"
]
depends_on:
- redis
volumes:
redis_data:
在终端执行启动命令:
# 启动 Docker 编排服务集群并在后台常驻
启动之后,先检查容器状态:
docker compose ps
如果两个容器都是 `running` 状态,说明网关服务已经启动在本地的 4000 端口。
第三步:为团队或业务生成独立密钥
千万不要直接把 `LITELLM_MASTER_KEY` 给业务端使用。
先用管理员主密钥调用网关的生成接口,生成一个带额度限制的业务密钥(Virtual Key):
curl -X POST 'http://localhost:4000/key/generate'
-H 'Authorization: Bearer sk-master-admin-key-8888'
-H 'Content-Type: application/json'
-d '{
"max_budget": 50,
"budget_duration": "30d",
"models": ["cheap-fast", "premium-coder"],
"metadata": {"team": "customer_support"}
}'
接口会返回一个新的 Key,比如 `sk-team-cs-987abc`。这个 Key 每个月最多消耗 50 美元,超过之后网关自动拒止,有效避免死循环代码把账单刷爆。
第四步:业务端无缝切换
业务系统原本如果是用 OpenAI 的官方 Python SDK,修改接入方式只要改动两行代码:
from openai import OpenAI
# 原本代码:
# client = OpenAI(api_key="sk-openai-xxx")
# 改造后代码:指向你的 AI 网关地址,传入刚才生成的子密钥
client = OpenAI(
base_url="http://localhost:4000/v1",
api_key="sk-team-cs-987abc"
)
response = client.chat.completions.create(
model="premium-coder", # 使用网关里配置的模型别名
messages=[
{"role": "user", "content": "帮我写一段 Python 快速排序代码"}
]
)
print(response.choices[0].message.content)
业务代码不需要修改任何解析返回值的逻辑,因为它接收到的仍然是标准 OpenAI 格式对象。
降本增效的核心策略:如何真刀真枪省下 70% 账单?
光搭起网关只能省去对接麻烦,要把成本真正降下来,需要配合以下三套具体策略:
1. 业务分层路由(模型分级策略)
不是所有任务都需要上顶配模型。在真实生产环境里,任务分类往往遵循二八原则。
•简单任务(占 70%):意图识别、实体抽取、内容分类、文本润色。路由给每百万输入 Token 约 1~2 元人民币的模型(如 DeepSeek-V3、GPT-4o-mini)。
•复杂任务(占 30%):多步逻辑推导、复杂代码编写、长文档深度摘要。路由给 Claude 3.5 Sonnet 或 GPT-4o。
通过网关层配置模型别名,业务端在分类阶段调用 `cheap-fast`,在核心处理阶段调用 `premium-coder`,单月 Token 成本可以直接压低 60% 以上。
2. 开启精确匹配缓存
大部分客服和问答系统中,用户的提问具有很高的重复度(例如询问发货时间、退货规则、账号绑定方式)。
在 `config.yaml` 中配置 Redis 缓存:
litellm_settings:
cache: true
cache_type: "redis"
当完全相同的 Prompt 再次请求时,LiteLLM 会在 5 毫秒内 直接从 Redis 返回结果,不再向上游模型供应商发起 HTTP 请求。这部分流量的 Token 消耗为零,同时大幅降低平均响应时间。
3. 动态负载均衡与防封控
国内很多模型厂商的 API 接口有并发数限制(QPM / TPM)。如果单账号并发超标,接口会频繁返回 429。
你可以在网关里为同一个模型配置多个提供商渠道(或者多个不同账号的 Key),并将策略设为 `round-robin`(轮询)或 `lowest-cost-routing`(最低成本优先):
model_list:
- model_name: general-model
litellm_params:
model: openai/deepseek-chat
api_key: "sk-key-account-A"
- model_name: general-model
litellm_params:
model: openai/deepseek-chat
api_key: "sk-key-account-B"
网关会自动分摊流量,避免单一 Key 被打挂。
生产部署必看的踩坑提示
在生产环境部署聚合网关,有四个容易踩的坑,请提前做好防范:
1.防范端口裸奔风险:LiteLLM 默认不强制要求认证,必须在环境变量中明确指定 `LITELLM_MASTER_KEY`。如果未设置该变量且公网开放 4000 端口,任何人都可能扫描并盗刷你的上游模型额度。
2.流式传输超时问题:大模型生成长文本时,如果配置了 Nginx 反向代理,必须将 `proxy_read_timeout` 调整为 300 秒以上,并关闭 `proxy_buffering`(代理缓冲)。否则流式输出会在 60 秒时被 Nginx 强行切断。
3.日志膨胀导致磁盘爆满:高并发网关默认如果记录完整的 Request 和 Response Payload,每天可能产生数 GB 的日志。请务必配置日志轮转(Log Rotation),或者在生产环境中关闭完整 Payload 打印,只保留监控指标(Latency、Token 数量、Status Code)。
4.Token 计费偏差:不同厂商的分词器(Tokenizer)算法存在差异。网关层统计的 Token 数量是本地估算值,与厂商账单实际扣费通常存在 1% 到 3% 的微小偏差,核算成本时应当以模型厂商最终出具的月度账单数据为准。
原创文章,作者:七点互动,如若转载,请注明出处:https://ai.qidianhudong.com/aiyy/ai-code/4979.html