
很多传统程序员想转做大模型开发时,第一反应往往是去啃 2017 年那篇《Attention Is All You Need》论文,或者直接跑去配置 CUDA 环境、推导反向传播数学公式。很多人折腾了两周,卡在矩阵运算和显卡驱动报错上,最后直接放弃。
这种路径从一开始就走偏了。目前工业界的大模型岗位其实分化成了两条完全不同的路线:一条是模型算法岗(偏向预训练、Post-training、RLHF 和底层架构创新),需要深厚的数学功底和海量算力预算;另一条是大模型应用开发工程师(AI Engineer),核心工作是结合业务场景,把基础模型、向量数据库、外部工具和工程架构串联起来,落地成高可用的软件系统。
对于绝大多数有前后端、分布式或数据工程背景的技术人,最平滑、性价比最高的转型切入点,正是AI 应用开发。不需要从零手写神经网络,但是必须掌握一套全新的开发方法论。
第一阶段:夯实基础,理解大模型的输入与输出本质
先不要碰复杂的外部框架,先用最基础的 Python 脚本直接调用大模型 API。
先做这三件事:
1.理解关键参数对模型输出的影响:在代码里手动调整 `temperature`、`top_p` 和 `presence_penalty`。比如做代码生成或数据抽取时,必须把 `temperature` 设为 `0` 或接近 `0`,保证输出结果的确定性;而在做创意写作时,设为 `0.7` 到 `0.9` 之间效果更好。
2.掌握结构化输出(Structured Outputs):大模型本质是一个概率文本生成器,直接返回自然语言很难被业务系统解析。使用 OpenAI 的 JSON Schema 模式,或者通过 Pydantic 定义严格的数据模型,让大模型必须返回符合格式要求的 JSON。这是传统业务系统和大模型对接的基本功。
3.跑通函数调用(Function Calling):理解大模型如何判断什么时候调用外部函数、如何生成函数入参,以及系统在执行完本地代码后如何把结果回传给模型。
避坑提示:千万不要在刚入门时就引入 LangChain 这一类高度封装的框架。框架的多层抽象会掩盖底层的 HTTP 请求逻辑与 Prompt 结构,一旦模型输出异常,排查问题非常困难。
第二阶段:构建企业知识库,吃透检索增强生成(RAG)
当模型面对私有文档、时效性信息或专业领域规范时,单纯依靠 Prompt 无法解决问题,这时候就需要 RAG(Retrieval-Augmented Generation)。
一个完整的 RAG 流程分为五个步骤:文档解析 -> 分块(Chunking)-> 向量化(Embedding)-> 检索与重排(Rerank)-> 上下文组装生成。
很多技术人员第一次做 RAG,直接把 PDF 文件按固定 500 字符切分,存进向量数据库就做余弦相似度检索,结果准确率往往不到 60%。
在真实生产环境中,做好 RAG 需要解决以下核心细节:
•切分策略必须适配文档结构:按 Markdown 标题分块、按语义段落分块,或者使用父子文档切分(Parent Document Retriever),小块用于向量匹配,大块用于喂给模型。
•混合检索(Hybrid Search)优于纯向量检索:纯向量检索擅长语义泛化,但在专有名词、产品型号、错误码查询时经常漏检。生产环境必须采用 向量检索 + BM25 关键词检索,再配合 Cross-Encoder 架构的 重排模型(Reranker,如 BGE-Reranker) 对候选结果重新打分。
在选择向量存储与检索组件时,可以参考以下选型对比:
| 方案类别 | 代表工具 | 典型数据规模 | 部署与运维成本 | 适用场景 | 核心缺陷 |
|---|---|---|---|---|---|
| 轻量级嵌入式 | Chroma, LanceDB | 10 万条以下 | 极低(本地文件/无独立服务) | 本地原型验证、桌面端工具 | 不适合高并发分布式服务 |
| 传统数据库扩展 | PostgreSQL (pgvector) | 1000 万条以下 | 中等(复用既有 RDS 基础设施) | 已有业务库是 PG,需要联合查询关系型数据 | 索引构建耗内存,百亿级扩展较难 |
| 专用向量数据库 | Milvus, Qdrant | 千万级到十亿级 | 偏高(需要集群维护与独立节点) | 纯向量检索需求、高吞吐海量检索 | 运维成本高,无法原生承载复杂业务事务 |
| 通用搜索引擎 | Elasticsearch, OpenSearch | 亿级 | 中等偏高(成熟的运维体系) | 强依赖混合检索、已有 ES 集群的企业 | 向量计算开销大于专用引擎,需要调优内存 |
第三阶段:从单次问答到工作流,掌握智能体(Agent)
当业务流程涉及多步决策、自主调用 API、条件分支判断时,系统就进入了 Agent 的范畴。
在开发 Agent 时,不要迷信完全自主循环的黑盒 Agent。很多团队踩过的坑就是让大模型自由 ReAct 循环,结果在生产环境经常陷入死循环,白白消耗大量 Token 还会导致任务超时。
生产环境的正确思路是:用确定的状态机控制整体业务骨架,只在需要不确定性推理的节点让大模型做决策。
主流开发框架的差异如下:
| 框架名称 | 核心设计哲学 | 状态管理能力 | 生产稳定性 | 推荐使用场景 |
|---|---|---|---|---|
| LangChain | 链式调用、高层封装 | 较弱,多以运行时内存传递 | 一般(抽象层过厚,调试较慢) | 快速验证 Demo、跑通概念 |
| LangGraph | 图结构、状态机循环 | 极强(支持持久化状态与节点回滚) | 高(具备确定性流程控制能力) | 复杂多步骤业务、需要人工介入(Human-in-the-loop)的 Agent |
| LlamaIndex | 数据索引与数据管道优先 | 中等 | 较高(针对数据读取针对性好) | 复杂文档检索、多源知识库检索系统 |
| DSPy | 声明式编程、自动优化 Prompt | 弱(专注 Prompt 编译与评估) | 高(逻辑结构清晰,可重现) | 不想手动调试 Prompt、需要算法优化上下文指令的场景 |
第四阶段:开源模型本地部署与推理优化
全量依赖商业闭源 API 会面临数据出境、网络延迟、合规安全与调用费用的限制。掌握开源大模型的本地私有化部署是技术人的关键壁垒。
当前开源领域的重点是 Llama 3、Qwen 2.5 和 DeepSeek 系列。运行这些模型时,需要学会计算显存开销。
显存计算基本公式:
•模型权重占用显存:模型参数量 × 单参数字节数。如果是 FP16 精度,每个参数占 2 字节,7B 模型需要约 14GB 显存;如果是 INT4 量化(如 AWQ、GPTQ),每个参数占 0.5 字节,7B 模型约需 4GB 到 5GB 显存。
•动态显存:除了模型权重,还需要为 KV Cache 和上下文窗口预留显存。并发请求量越高、上下文越长,KV Cache 占用越惊人。
在部署推理服务时,选用专门的推理引擎:
| 推理引擎 | 支持硬件 | 核心技术优势 | 吞吐表现 | 适合场景 |
|---|---|---|---|---|
| vLLM | NVIDIA / AMD GPU | PagedAttention(有效降低显存碎片)、连续批处理(Continuous Batching) | 极高(并发吞吐优势明显) | 企业级生产 API 服务、高并发线上系统 |
| Ollama | Mac / CPU / GPU | 开箱即用、一键拉取打包模型文件 | 中等(单并发表现良好) | 本地开发调试、个人工作站体验 |
| Triton + TensorRT-LLM | NVIDIA GPU | 针对英伟达硬件底层算子深度调优 | 极高(单卡极致性能) | 极度关注延迟与算力利用率的大厂生产环境 |
| llama.cpp | CPU / 纯内存 / 任意设备 | C++ 原生实现,支持 GGUF 格式量化 | 低到中等(依赖 CPU 时吞吐有限) | 边缘计算设备、无独立显卡环境运行 |
第五阶段:评估体系(Evals)与系统观测
衡量传统软件靠单元测试,而大模型具有非确定性,微调一个字或者 Prompt 调整一句话,原先正常的输出可能就会出现幻觉。
没有评估体系的 AI 应用根本无法上线。传统程序员转型,最能拉开差距的能力不是写 Prompt,而是构建严谨的评测与监控管线:
1.建立黄金测试集(Golden Dataset):收集至少 100 到 300 条覆盖各类边缘情况的真实业务输入,并标注好标准期望。
2.多维度自动化评测指标:
•检索阶段:检查上下文召回率(Context Recall)和上下文精准度(Context Precision)。
•生成阶段:检查忠实度(Faithfulness,是否完全根据检索文本生成,杜绝无中生有)和答案相关性(Answer Relevance)。
•工具:借助 Ragas 或 DeepEval 这类自动化评测工具,配置 LLM-as-a-Judge(让更强的大模型扮演裁判打分)。
3.全链路追踪与调试(Tracing):
在代码中集成 Langfuse 或 Arize Phoenix 等开源可观测平台。每次用户请求,必须清晰记录:输入 Token 数、输出 Token 数、单次模型耗时、检索命中的具体切片内容、函数调用的入参与出参。这能帮你在出现客诉时,三分钟内定位是检索不准、Prompt 失效还是底层模型超时。
推荐的四个月进阶实操计划
按照以下具体步骤执行,可以快速建立完整的技术能力闭环:
•第 1 个月:纯原生 Python 对接主流大模型 API。写一个能实现严格 JSON 校验的数据抽取工具,并手动编写基于 Function Calling 的 SQL 自动查询助手。
•第 2 个月:深入 RAG 工程。搭建一套基于 PostgreSQL (pgvector) 的混合检索系统,加入切分优化和 BGE-Reranker 重排模型,完成对一批企业内部长文档(如 API 文档或产品手册)的准确问答。
•第 3 个月:工程化 Agent 与状态机。使用 LangGraph 编写一个具备错误重试机制的自动化分析系统,例如自动抓取某类报错日志、查询监控数据库并输出诊断报告。
•第 4 个月:本地私有化部署与上线全流程。使用 Docker 和 vLLM 在单张显卡上启动 Qwen 2.5 开源模型,配置一套持续集成的 Evals 评测集,并接入 Langfuse 监控看板,把前三个月的成果组装成一个端到端可交付的完整系统。
原创文章,作者:七点互动,如若转载,请注明出处:https://ai.qidianhudong.com/aiyy/ai-code/4779.html