用途:面向多芯片 GPU 后端的大模型(LLM)部署、验证与基准测试端到端流水线编排,串联 4 个子技能并产出最终报告。
主要能力:按顺序执行安装软件栈(vLLM、FlagTree、FlagGems、FlagCX、plugin 共 5 个包)、环境验证(Qwen3-0.6B 冒烟测试,FlagGems/CX 关闭)、模型验证(目标模型 OFF/ON 对比与 diff 分析,给出推荐栈 full/base/none)、性能测试(准确率占位 + 运行 5 个 profile 并汇总),并汇总流水线状态生成最终报告。各子技能可独立调用。脚本包括 detect_network.py、collect_env_info.py、select_flagtree_wheel.py、validate_packages.py、run_offline_inference.py、test_serve_mode.py、diff_analysis.py、run_benchmark.py、run_all_benchmarks.py。
使用方式:前置条件为已由 /gpu-container-setup 生成并可访问 GPU 的 Docker 容器。先获取容器名:docker ps --format '{{.Names}}' | head -10,并校验运行状态:docker inspect --format='{{.State.Status}}' <CONTAINER> | grep -q running。随后按 references/pipeline-state.md 初始化状态,依次执行安装、环境验证、模型验证(需用户提供模型路径)、性能测试与报告生成。
限制:安装阶段若 vLLM 或 plugin 失败则停止流水线;环境验证出现致命错误则停止;模型验证中 Run A 失败(recommended_stack 为 none)则停止。准确率为占位项。命令、脚本内容与报告结构以原始资料为准。