用途:FlagRelease 是一个流水线编排器,用于多芯片 GPU 后端的 LLM 部署、验证与基准测试,串行编排 4 个子技能并输出最终报告。
主要能力与流程:
- install-stack:安装 vLLM、FlagTree、FlagGems、FlagCX 及 plugin 共 5 个包,含网络探测、环境信息收集、FlagTree wheel 选择与导入校验;若 vLLM 或 plugin 失败则终止。
- env-verify:用 Qwen3-0.6B 做冒烟测试(FlagGems/CX 关闭),分离线推理与 serve+健康+对话两阶段,并做错误分层。
- model-verify:目标模型先关后开测试,做差异分析,判断可用 full/base/none 栈;Run A 失败则终止。
- perf-test:启动 vllm serve,运行 5 个基准配置并汇总指标。
- 最终报告:汇总状态 PASS/PARTIAL/FAIL、容器、厂商、模型、并行度、各步骤结果与错误。
使用方式:需先由 /gpu-container-setup 准备好带 PyTorch 且可访问 GPU 的运行中容器;确认容器名可执行 docker ps --format '{{.Names}}' | head -10,再用 docker inspect --format='{{.State.Status}}' <CONTAINER> | grep -q running 校验运行状态。按步骤读取各子技能 SKILL.md 执行。
限制:依赖容器与 GPU 环境;model-verify 需用户提供模型路径;准确性测试在资料中标记为 placeholder;具体基准指标、安装命令与超时值暂未提供。