SuperAPI AI 工具集

vllm-deploy-docker

智能体与模型

查看项目

更新于 10-15 22:32

技能介绍

用途:指导用 Docker 部署 vLLM,并提供可调用的 OpenAI 兼容服务。主要方式为预构建镜像(推荐多数用户),或按需从源码构建自定义镜像。仅覆盖 NVIDIA GPU/CUDA;AMD、Intel 等加速器请参考 vLLM 官方文档。

前提:安装 Docker(建议 20.10+);具备 NVIDIA GPU、驱动与 CUDA 工具包;可选 curl 测试 API;访问私有模型或避免限流时需 HF_TOKEN。

预构建镜像快速启动: docker run --rm --gpus all
-v ~/.cache/huggingface:/root/.cache/huggingface
--env "HF_TOKEN=$HF_TOKEN"
-p 8000:8000
--ipc=host
vllm/vllm-openai:latest
--model Qwen/Qwen2.5-1.5B-Instruct --gpus all 暴露全部 GPU;--ipc=host 或足够大的 --shm-size 便于共享内存;挂载 Hugging Face 缓存可避免重复下载。

源码构建(使用 docker/Dockerfile): DOCKER_BUILDKIT=1 docker build .
--target vllm-openai
--tag vllm/vllm-openai
--file docker/Dockerfile 可加 --build-arg max_jobs=<N>、--build-arg nvcc_threads=<N>、--build-arg torch_cuda_arch_list=""。未改动 C++/CUDA 内核时,加 --build-arg VLLM_USE_PRECOMPILED="1" 使用预编译 wheel;指定提交用 --build-arg VLLM_PRECOMPILED_WHEEL_COMMIT=<commit_hash>。可选依赖(如音频)可通过自定义 Dockerfile 扩展基础镜像,例如 RUN uv pip install --system vllm[audio]==0.11.0,注意版本一致。ARM64/aarch64 构建加 --platform "linux/arm64";交叉编译先注册 QEMU。

常用服务参数:--model、--port、--log-level。启动后可用 curl 调用 /v1/chat/completions 测试。安全上应保护 HF_TOKEN,生产环境建议置于带 TLS 与认证的反向代理后,仅挂载必要路径。排错涵盖 GPU 不可用、模型下载失败、内存/OOM、NCCL 路径、Docker 权限及拉取超时等;网络与代理、镜像加速等细节按官方说明处理。该技能不涵盖非 NVIDIA 加速器的部署方式。