用途：将模型检查点部署为 OpenAI 兼容的推理端点，支持 vLLM、SGLang 和 TRT-LLM（含 AutoDeploy）。
主要能力：提供 deploy.sh 脚本处理 GPU 检测、量化格式自动识别（FP8/FP4）、服务生命周期（start/stop/restart/status）、健康检查轮询与 API 测试；支持本地检查点、HuggingFace Hub 模型及未量化模型；支持张量并行与远程 SSH/SLURM 部署。
使用方式：标准本地部署优先用脚本，例如 "$SKILL_DIR/scripts/deploy.sh" start --model ./qwen3-0.6b-fp8，可用 --framework sglang --tp 4 指定框架与并行度；测试用 "$SKILL_DIR/scripts/deploy.sh" test，状态用 status，停止用 stop。需要脚本不支持的参数或远程部署时，直接使用框架命令，如 python -m vllm.entrypoints.openai.api_server --model <checkpoint_path> --quantization modelopt --tensor-parallel-size <num_gpus> --host 0.0.0.0 --port 8000；NVFP4 检查点使用 --quantization modelopt_fp4。SGLang 对应 python -m sglang.launch_server --model-path <checkpoint_path> --quantization modelopt --tp <num_gpus>。部署后通过 curl http://localhost:8000/health、/v1/models 和 /v1/completions 验证。
适用场景：本地或集群上服务量化/未量化 LLM，需要 OpenAI 兼容接口、多 GPU 并行或远程部署时。
限制：需要 HF 格式检查点，TRT-LLM 格式应直接用 TRT-LLM 部署；需确认模型、格式与框架组合在支持矩阵内；vLLM 需 >= 0.10.1，SGLang 需 >= 0.4.10；NVFP4 在 Blackwell B300/GB300 需 CUDA-13 镜像；未验证模型可能因权重键不匹配等失败。具体安装、集群配置与基准测试细节暂未提供。