vLLM 部署指南
参数、显存与命令同屏

调节 GPU 数、显存利用率、上下文与量化，实时生成 vLLM 启动参数与 OpenAI 兼容接口示例，并拆解权重、KV 缓存与预留显存估算。

滑杆式参数配置
参数范围与整除校验
批量配置矩阵
curl / Python 示例

预设示例

Parameters / 启动参数待校验

模型

--served-model-name

GPU 数量 2

单卡显存 24 GB

--gpu-memory-utilization 0.90

--max-model-len 8192

--dtype

--quantization

服务端口

显存预算

理论估算

启动命令

OpenAI 兼容服务

接口示例 · 参数说明

命令与示例跟随上方参数；切换标签查看 curl 或 Python 调用。

调用示例

curl

参数说明

当前取值

参数	当前值	作用

批量配置矩阵

每行格式「标签, 模型, GPU 数, 单卡GB, 利用率, 上下文」；结构参数按模型预设取值。

常见问题

围绕启动参数、显存利用率、张量并行与接口调用整理。

vLLM 启动参数怎么配？

常用参数是 --model（模型路径或 Hugging Face ID）、--tensor-parallel-size（张量并行数，通常等于 GPU 数）、--gpu-memory-utilization（显存占用比例，常用 0.85–0.95）、--max-model-len（最大上下文）、--dtype 与 --served-model-name。本页把这些参数做成配置台，改动后即时生成命令与显存预算。

gpu-memory-utilization 设多少合适？

它决定 vLLM 可用于权重与 KV 缓存的显存比例，剩余部分留给 CUDA context 与其它进程。显存紧张时可降到 0.8；独占显卡时可试 0.9–0.95，但过高容易在加载阶段 OOM。本页把「利用率 × 总显存」减去权重后作为 KV 缓存预算，并给出可容纳 token 数与并发估算。

vLLM 显存怎么估算？

本页按可复算的口径拆分：权重 = 参数量 × 每参数字节数；每 token KV = 2 × 层数 × KV 头数 × head_dim × KV 字节数；KV 预算 = 总显存 × 利用率 − 权重 − 经验运行时预留；预估并发 = KV 预算可容纳 token 数 ÷ 最大上下文。实际值受 PagedAttention、连续批处理与算子 workspace 影响，请以 nvidia-smi 实测为准。

tensor parallel 与 GPU 数量有什么关系？

--tensor-parallel-size 需要能整除注意力头数，通常直接设为 GPU 总数；多机多卡还要配合 --pipeline-parallel-size。本页会校验 GPU 数、并行数与所选模型结构是否匹配，并在 max-model-len 超过模型原生上下文时提示需要配置 RoPE 扩展。

vLLM 的 OpenAI 兼容接口怎么调用？

vLLM 的 OpenAI 兼容服务默认监听 8000 端口，路径是 /v1/chat/completions，可直接使用 openai SDK 并把 base_url 指到本机服务。本页「接口示例」区按当前 --served-model-name 与端口生成 curl 与 Python 代码，并支持 shell、JSON 与环境变量转义。