SuperAPI AI 工具集

flagrelease

编程与开发

查看项目

更新于 10-15 21:42

技能介绍

用途:FlagRelease 是一个流水线编排器,用于多芯片 GPU 后端的 LLM 部署、验证与基准测试,串行编排 4 个子技能并输出最终报告。

主要能力与流程:

  1. install-stack:安装 vLLM、FlagTree、FlagGems、FlagCX 及 plugin 共 5 个包,含网络探测、环境信息收集、FlagTree wheel 选择与导入校验;若 vLLM 或 plugin 失败则终止。
  2. env-verify:用 Qwen3-0.6B 做冒烟测试(FlagGems/CX 关闭),分离线推理与 serve+健康+对话两阶段,并做错误分层。
  3. model-verify:目标模型先关后开测试,做差异分析,判断可用 full/base/none 栈;Run A 失败则终止。
  4. perf-test:启动 vllm serve,运行 5 个基准配置并汇总指标。
  5. 最终报告:汇总状态 PASS/PARTIAL/FAIL、容器、厂商、模型、并行度、各步骤结果与错误。

使用方式:需先由 /gpu-container-setup 准备好带 PyTorch 且可访问 GPU 的运行中容器;确认容器名可执行 docker ps --format '{{.Names}}' | head -10,再用 docker inspect --format='{{.State.Status}}' <CONTAINER> | grep -q running 校验运行状态。按步骤读取各子技能 SKILL.md 执行。

限制:依赖容器与 GPU 环境;model-verify 需用户提供模型路径;准确性测试在资料中标记为 placeholder;具体基准指标、安装命令与超时值暂未提供。