KV Cache 怎么算？

KV Cache = 2 × 层数 × KV头数 × 头维度 × 序列长度 × 并发 × 字节数。例：32 层、8 KV 头、128 维、8K 上下文、FP16 → 每并发 1GB。

并发翻倍显存怎么变？

线性翻倍：8K ctx 单并发 1GB → 10 路并发 10GB。这就是为什么高并发部署必须算 KV——权重只占一份，KV 是按路数涨的。

GQA 让 KV 头数远少于注意力头数（如 32 Q 头共享 8 KV 头），KV Cache 直接降到 1/4，质量损失很小——现代开源模型标配。

AI & COMPUTE · 开发者算账系列

🧮

GQA 时代的 KV Cache 精确计算：层数×KV头×头维度×上下文×并发，单卡能跑几路并发算给你。

💡为什么要做这个工具

长上下文推理的显存大头不是权重而是 KV Cache。工具按 2×层数×KV头数×头维度×序列长度精确计算，告诉你 80GB 卡还能加多少并发。

默认值是典型配置（如 7B 模型、A100 单卡），按你的实际情况改。

改任何一个数，结论、明细、敏感性分析全部自动跟着变。

红黄绿结论卡告诉你够不够、贵不贵，行动清单告诉你下一步。

📏默认参数是典型档位（模型规模、卡型、单价），按你的实际配置改了再下结论

🪤云厂商价格与折扣变动快，以控制台实际报价为准，预留 20% 余量

🧮别只看峰值：显存和成本都要考虑峰值 + 平均 + 长尾三种口径

❓常见问题

KV Cache 怎么算？: KV Cache = 2 × 层数 × KV头数 × 头维度 × 序列长度 × 并发 × 字节数。例：32 层、8 KV 头、128 维、8K 上下文、FP16 → 每并发 1GB。
并发翻倍显存怎么变？: 线性翻倍：8K ctx 单并发 1GB → 10 路并发 10GB。这就是为什么高并发部署必须算 KV——权重只占一份，KV 是按路数涨的。
GQA 为什么省显存？: GQA 让 KV 头数远少于注意力头数（如 32 Q 头共享 8 KV 头），KV Cache 直接降到 1/4，质量损失很小——现代开源模型标配。