训练成本怎么估？

按 6ND 公式：总算力 = 6 × 参数量 × token 数。例：7B 模型 × 100B tokens = 4.2×10²¹ FLOPs，64 卡 A100（MFU 40%）跑约 1.6 天，¥6/卡时成本约 ¥1.5 万。

MFU 是什么？多少算正常？

Model FLOPs Utilization，算力利用率。30%~50% 是常见区间——MFU 从 40% 提到 50%，成本直降 20%。提升手段：flash-attention、bf16、合理 batch size。

多数场景 LoRA/QLoRA 只需全量训练 1%~5% 的成本：QLoRA 微调 7B 一张 24GB 卡就够。先想清楚要不要动全部参数。

AI & COMPUTE · 开发者算账系列

🧮

按 6×N×D 经验公式估算训练总算力，结合 GPU 数量、MFU 和时租价，训练成本和天数一起出。

💡为什么要做这个工具

预训练/继续训练动辄百万卡时。工具用业界通行的 6×参数×token 公式估总算力，再除以集群有效算力（卡数×峰值×MFU）得到时长和费用，立项前先算账。

默认值是典型配置（如 7B 模型、A100 单卡），按你的实际情况改。

改任何一个数，结论、明细、敏感性分析全部自动跟着变。

红黄绿结论卡告诉你够不够、贵不贵，行动清单告诉你下一步。

📏默认参数是典型档位（模型规模、卡型、单价），按你的实际配置改了再下结论

🪤云厂商价格与折扣变动快，以控制台实际报价为准，预留 20% 余量

🧮别只看峰值：显存和成本都要考虑峰值 + 平均 + 长尾三种口径

❓常见问题

训练成本怎么估？: 按 6ND 公式：总算力 = 6 × 参数量 × token 数。例：7B 模型 × 100B tokens = 4.2×10²¹ FLOPs，64 卡 A100（MFU 40%）跑约 1.6 天，¥6/卡时成本约 ¥1.5 万。
MFU 是什么？多少算正常？: Model FLOPs Utilization，算力利用率。30%~50% 是常见区间——MFU 从 40% 提到 50%，成本直降 20%。提升手段：flash-attention、bf16、合理 batch size。
能不能不用全量训练？: 多数场景 LoRA/QLoRA 只需全量训练 1%~5% 的成本：QLoRA 微调 7B 一张 24GB 卡就够。先想清楚要不要动全部参数。