买硬件跑本地大模型，最容易踩的坑就是把装机玩游戏的思路直接搬过来。很多人以为 CPU 核心多、显卡跑分高就能跑得快，结果买回来发现连模型都加载不进去。本地运行大语言模型，决定生死的是显存容量与内存带宽，而不是 GPU 的理论算力。 核心算力只决定每秒生成的字数上限，但显存大小直接决定这个模型到底能不能跑起来。如果显存装不下模型，算力再高也是白费。
算显存有一套固定的数学公式，不需要猜测。模型在 FP16（半精度）状态下，每个参数占用 2 个字节。如果转成 4 位量化（INT4 或 GGUF 的 Q4_K_M），每个参数大约占用 0.65 到 0.75 个字节。比如 Qwen2.5-14B 模型，4 位量化后的模型权重文件大概是 9.2 GB。但是你不能只准备 10 GB 显存。程序启动时 CUDA 运行时和基础框架要吃掉 1.2 GB 到 1.5 GB。更关键的是 KV Cache（键值缓存）。当你把上下文窗口开到 8K 或 32K 时，缓存会吃掉数个 G 的显存。
下表列出目前主流开源模型在 4 位量化（Q4_K_M）状态下的显存基准线与推荐硬件配置：
| 模型参数量 | 推荐量化格式 | 权重显存占用 | 建议最小显存 | 推荐显卡配置 | 实际生成速度参考 |
|---|---|---|---|---|---|
| 7B / 8B (如 Llama-3.1-8B) | Q4_K_M | ~5.0 GB | 8 GB | RTX 3060 12G / RTX 4060 8G | 45 – 60 tokens/s |
| 14B (如 Qwen2.5-14B) | Q4_K_M | ~9.2 GB | 16 GB | RTX 4060 Ti 16G / RTX 4070 Ti Super 16G | 35 – 45 tokens/s |
| 32B (如 Qwen2.5-32B) | Q4_K_M | ~20.5 GB | 24 GB | RTX 3090 24G / RTX 4090 24G | 20 – 30 tokens/s |
| 70B (如 Llama-3.3-70B) | Q4_K_M | ~43.0 GB | 48 GB | 双卡 RTX 3090 24G / Mac Studio M2 Ultra (64G+) | 12 – 18 tokens/s |
| 671B MoE (DeepSeek-R1) | Q4_K_M | ~404 GB | 512 GB | Mac Studio 集群 / 多路专业计算卡 | 3 – 5 tokens/s (Mac 方案) |
32B 模型是目前个人本地体验的分水岭。 7B 和 8B 模型反应快，但在处理复杂逻辑、多步骤代码生成时容易出现幻觉。14B 勉强具备基础工具调用能力，而 32B 在代码和推理逻辑上的表现已经接近部分早期闭源商业模型。单张 24GB 显存的显卡刚好能吃下 32B 的 4 位量化版本，这也是为什么目前很多折腾本地大模型的人都会优先盯准 24GB 显存。
硬件方案目前主要分为三条路线：NVIDIA 独立显卡、苹果 Mac 统一内存，以及纯 CPU 配大容量内存。很多人在选型时会在 PC 和 Mac 之间纠结。它们的核心差距不是算力，而是带宽与容量的取舍。
下表客观对比三种主流硬件路线的真实表现：
| 硬件路线 | 显存/内存容量 | 显存/内存带宽 | 主要优势 | 主要缺点 | 适用人群与预算参考 |
|---|---|---|---|---|---|
| NVIDIA 消费级显卡 | 12GB – 48GB GDDR6X | 504 – 1008 GB/s | 推理速度极快，CUDA 兼容度最高，支持各类高并发部署 | 显存拓展成本高，消费级单卡上限只有 24GB | 预算 3000 – 15000 元，追求实时生成速度与代码辅助 |
| Apple Silicon (Mac) | 24GB – 192GB 统一内存 | 150 – 819 GB/s | 统一内存容量巨大，整机功耗低，安静，能低成本加载大模型 | 内存带宽低于高端独显，大模型生成速度中等，无法做高负载微调 | 预算 10000 – 35000 元，需要加载 70B 模型且能接受 15 tokens/s 速度 |
| 纯 CPU + DDR5 内存 | 32GB – 128GB 系统内存 | 60 – 90 GB/s | 内存条价格便宜，千元级成本即可堆到 128GB 内存 | 内存带宽受限严重，大模型生成速度极慢（每秒仅几个字） | 预算低于 2000 元，只做功能接口测试或无交互的离线批处理 |
选好硬件后，还需要选对运行框架。不同的软件框架在显存调度和适用场景上有明显差异：
| 推理软件 / 框架 | 底层核心引擎 | 显存调度机制 | 并发支持能力 | 最适用场景 |
|---|---|---|---|---|
| Ollama | llama.cpp | 静态分配，自动在 CPU 和 GPU 之间分层 | 低并发（适合单用户交互） | 个人桌面日常聊天、配合 Open-WebUI 本地搭建知识库 |
| vLLM | 独立 Python/C++ 引擎 | PagedAttention 动态显存分页，显存碎片少 | 极高并发（企业与服务级吞吐） | 部署内部 API 服务、高吞吐批处理任务 |
| LM Studio | llama.cpp | 图形界面手动指定 GPU 卸载层数 | 低并发 | 新手测试不同量化级别模型、多模型横向对比 |
| llama.cpp 原生 | C/C++ | 资源占用极低，纯手动控制参数 | 中等（自带 server 模式） | 资源紧张的轻量化设备、嵌入式或脚本自动化集成 |
搭建一套个人本地大模型主机，建议按照以下四个步骤推进，能帮你更快完成部署并规避硬件兼容问题：
先做第一步：明确核心使用场景。 如果只是想要一个读写文档、写短脚本的助手，锁定 8B 到 14B 参数，准备一张 12GB 或 16GB 显存的显卡即可。如果需要它处理复杂代码重构、数学推导或长篇深度写作，直接锁定 32B 或 70B 模型。
然后做第二步：精确计算显存需求，预留 20% 冗余。 计算公式是：模型权重大小 + 上下文缓存大小 + 1.5 GB 基础占用。不要按刚好装满来配硬件。如果模型权重刚好占满显存，一旦输入一段几千字的长文本，程序就会因显存溢出直接闪退。
接着做第三步：配置硬件平台与电源散热。 如果选择双卡方案，必须检查主板的 PCIe 插槽分布。双卡满载功耗极高，必须选用额定功率 1000W 以上、单路 12V 输出稳定的电源，避免瞬间断电重启。
最后做第四步：调优软件运行参数。 启动模型时，在配置中开启 Flash Attention 选项，根据剩余显存手动固定上下文窗口大小（比如指定 `num_ctx 8192`）。如果显存充足，禁止将任何计算层卸载到系统内存中。
在实际装机和调试过程中，有五个极其常见的坑点需要避开：
避坑一：买显卡只看核心性能，轻视显存容量。 很多玩家会花七八千元买 RTX 4080（16GB），觉得它算力比老一代强很多。但是对于大模型来说，16GB 显存跑 32B 模型会直接报错内存不足；而花三千多元买一张二手的 RTX 3090（24GB），不仅能把 32B 4 位量化模型完整装进显存，推理速度还能稳定在 20 tokens/s 以上。跑大模型，显存容量的优先级永远高于核心算力。
避坑二：组双显卡时忽视主板通道拆分与散热间距。 许多平价消费级主板虽然有两个显卡插槽，但第二个插槽实际上只走芯片组提供的 PCIe 4.0 x4 通道，数据传输严重受限。双卡配置必须挑选支持 CPU 直出拆分为 x8 + x8 模式的主板。而且两张厚重显卡贴在一起，上面的显卡进风口会被完全挡住，烤机几分钟就会撞温度墙降频。解决办法是使用开放式机架，或者挑选涡轮散热版显卡、使用 PCIe 延长线分开放置。
避坑三：误以为加满 DDR5 内存就能替代显存。 系统内存容量虽然大而且便宜，但带宽跟显存完全不是一个级别。双通道 DDR5-6400 内存的理论带宽只有大约 102 GB/s，而一张 RTX 3090 的显存带宽高达 936 GB/s，RTX 4090 更是超过 1000 GB/s。大模型推理是一个重度依赖带宽的过程：每生成一个 Token，都需要把整个模型权重从内存中完整读取一遍。在 DDR5 内存上跑 70B 模型，生成速度通常只有 1 到 2 tokens/s，根本无法正常使用。
避坑四：忽略上下文扩展带来的显存压力。 模型加载成功不等于可以顺畅对话。KV Cache 消耗的显存随着输入文本长度线性增加。以 32B 模型为例，在 4K 上下文时，KV Cache 占用不到 1 GB；但如果直接开到 32K 上下文，KV Cache 会吃掉将近 6 GB 显存。如果你的显存只剩下 2 GB 余量，一旦用户丢进去一篇长论文要求总结，系统就会立即崩溃。在显存受限时，务必使用显存量化技术（如 KV Cache 8 位量化）或合理限制上下文最大长度。
避坑五：指望“CPU 与 GPU 混合分层推理”获得正常体验。 llama.cpp 等工具允许将一部分神经网络层放在显卡，剩下的层放在 CPU 内存。但是跨越 PCIe 接口传输中间激活数据的延迟非常高。哪怕只把 10% 的层放回 CPU，整体生成速度就会暴跌 60% 到 80%。 与其搞混合切分让生成速度卡在每秒两三个字，不如直接降低一级模型参数，或者选用量化程度稍高的版本，确保模型全部层都在显存内部运行。
原创文章，作者：七点互动，如若转载，请注明出处：https://ai.qidianhudong.com/aikonw/3535.html
