用途:该技能提供一套精简流程,用于快速安装 vLLM、启动服务并用简单的大语言模型验证 OpenAI 兼容 API,适合本地或实验环境的一次性部署与验证。
主要能力:自动检测硬件后端(NVIDIA CUDA、AMD ROCm、Google TPU 或 CPU),按后端安装对应版本(TPU 环境安装 vllm-tpu);启动可配置模型与端口的 vLLM 服务器;测试 OpenAI 兼容接口;检查服务器状态;支持虚拟环境隔离;服务器在后台运行并记录日志与 PID。
必要条件:Python 3.10+;GPU(NVIDIA CUDA、AMD ROCm,推荐)或 TPU 或 CPU;pip 或 uv 包管理器;curl 用于 API 测试;虚拟环境可选但推荐。
使用方式:默认整体流程运行 scripts/quickstart.sh,默认选项为 --venv "." --model "Qwen/Qwen2.5-1.5B-Instruct" --port 8000 --gpu_memory_utilization 0.8。也可分步使用:scripts/quickstart.sh install、scripts/quickstart.sh start、scripts/quickstart.sh test、scripts/quickstart.sh stop、scripts/quickstart.sh status、scripts/quickstart.sh restart。支持自定义 --venv、--model、--port、--gpu_memory_utilization,参数顺序任意。测试接口示例:curl http://localhost:8000/v1/chat/completions 发送聊天补全请求。
主要限制:首次运行会下载模型(Qwen2.5-1.5B-Instruct 约 3GB),后续使用缓存;端口被占用、后端识别错误、显存不足等需按排错提示处理,可通过减小模型或降低 --gpu-memory-utilization 缓解;日志位于 $VENV_PATH/tmp/vllm-server.log。官方文档未提供的收费、价格与其它平台信息暂未提供。