RPM 和 TPM 限流哪个先撞上？

有效吞吐 = min(RPM, TPM ÷ 单请求 token)。例：RPM 500、TPM 30 万、单请求 2000 token → TPM 侧只允许 150 次/分，TPM 先卡死。

被限流了怎么办？

① 控 prompt 长度和 max_tokens（最直接）；② 请求加退避重试；③ 找厂商提额（有用量记录后很好谈）。

AI & COMPUTE · 开发者算账系列

🧮

RPM 和 TPM 双重限流下，你的真实吞吐和瓶颈在哪，最小请求间隔算给你。

💡为什么要做这个工具

LLM API 有 RPM（请求数）和 TPM（token 数）双重限流，多数人只盯着 RPM 结果被 TPM 卡死。工具算出真实可用吞吐、瓶颈项和匀速发请求的最小间隔。

默认值是典型配置（如 7B 模型、A100 单卡），按你的实际情况改。

改任何一个数，结论、明细、敏感性分析全部自动跟着变。

红黄绿结论卡告诉你够不够、贵不贵，行动清单告诉你下一步。

📏默认参数是典型档位（模型规模、卡型、单价），按你的实际配置改了再下结论

🪤云厂商价格与折扣变动快，以控制台实际报价为准，预留 20% 余量

🧮别只看峰值：显存和成本都要考虑峰值 + 平均 + 长尾三种口径

❓常见问题

RPM 和 TPM 限流哪个先撞上？: 有效吞吐 = min(RPM, TPM ÷ 单请求 token)。例：RPM 500、TPM 30 万、单请求 2000 token → TPM 侧只允许 150 次/分，TPM 先卡死。
被限流了怎么办？: ① 控 prompt 长度和 max_tokens（最直接）；② 请求加退避重试；③ 找厂商提额（有用量记录后很好谈）。