7B 模型推理要多少显存？

FP16 权重 = 7 × 2 = 14GB，加 KV Cache 留 3~4GB 余量，一张 24GB 的 RTX 4090 就能跑。INT4 量化后权重只剩 3.5GB，8GB 卡都行。

为什么训练显存是推理的 8 倍？

训练（AdamW 混合精度）每参数要 16 字节：fp32 主权重 4 + 梯度 4 + 一二阶动量 8，而推理 FP16 每参数只 2 字节。7B 全量训练就要 ~112GB，必须多卡或 LoRA。

是。KV Cache 随序列长度 × 并发线性增长，长上下文 + 高并发是显存杀手。优先开 GQA/FP8 KV，详见 KV Cache 计算器。

AI & COMPUTE · 开发者算账系列

🧮

输入参数量和精度，3 秒告诉你 7B/70B 模型要几张卡，推理和训练（AdamW）口径都算给你。

💡为什么要做这个工具

部署模型前最常见的问题就是"这张卡跑得动吗"。工具按权重字节 + KV Cache（推理）或 16 字节/参数（训练）估算显存，直接给出推荐卡型和多卡方案，不用再翻文档拍脑袋。

默认值是典型配置（如 7B 模型、A100 单卡），按你的实际情况改。

改任何一个数，结论、明细、敏感性分析全部自动跟着变。

红黄绿结论卡告诉你够不够、贵不贵，行动清单告诉你下一步。

📏默认参数是典型档位（模型规模、卡型、单价），按你的实际配置改了再下结论

🪤云厂商价格与折扣变动快，以控制台实际报价为准，预留 20% 余量

🧮别只看峰值：显存和成本都要考虑峰值 + 平均 + 长尾三种口径

❓常见问题

7B 模型推理要多少显存？: FP16 权重 = 7 × 2 = 14GB，加 KV Cache 留 3~4GB 余量，一张 24GB 的 RTX 4090 就能跑。INT4 量化后权重只剩 3.5GB，8GB 卡都行。
为什么训练显存是推理的 8 倍？: 训练（AdamW 混合精度）每参数要 16 字节：fp32 主权重 4 + 梯度 4 + 一二阶动量 8，而推理 FP16 每参数只 2 字节。7B 全量训练就要 ~112GB，必须多卡或 LoRA。
上下文越长显存涨得越快吗？: 是。KV Cache 随序列长度 × 并发线性增长，长上下文 + 高并发是显存杀手。优先开 GQA/FP8 KV，详见 KV Cache 计算器。