Ollama 本地模型部署
选好环境，复制命令

Ollama 支持 macOS、Windows 与 Linux，也可用 Docker 运行。CPU 也能推理，只是速度较慢；有 GPU 时可用 NVIDIA 显卡加速。模型体积按参数量与量化等级变化，7B 级别 Q4 约 4–5 GB，14B 约 9 GB，70B 约 40 GB。本页按「参数量 × 0.59 GB」给出 Q4 近似体积，实际以 ollama pull 显示的大小为准。

ollama pull 模型名只下载权重；ollama run 模型名会先检查本地是否已有该模型，缺了就自动拉取再进入交互式对话，适合第一次运行。查看已下载用 ollama list，查看正在占用显存的模型用 ollama ps，退出对话用 /bye。本页「运行 / 拉取」标签会按所选系统生成对应命令。

默认服务地址是 http://localhost:11434。原生接口用 POST /api/generate 传 model、prompt 与 stream；也提供 OpenAI 兼容的 /v1/chat/completions，便于直接复用现有 SDK。本页「接口调用」标签生成可直接复制的 curl 示例，端口与模型名跟随上方配置。

常用参数是 -p 11434:11434 暴露端口、-v ollama:/root/.ollama 持久化模型、--name ollama 命名容器；有 NVIDIA GPU 时再加 --gpus=all。本页按「系统 + GPU」自动生成 CPU 或 GPU 版 docker run 命令，并可用端口与模型路径输入框调整。

Ollama 面向个人本地使用，安装简单、自带模型库与交互式对话，适合快速上手；vLLM 面向服务端高吞吐推理，提供 PagedAttention、连续批处理与 OpenAI 兼容接口，适合多并发生产部署。两者可并存，本页只生成 Ollama 命令，vLLM 参数请看站内 vLLM 部署指南。