SuperAPI AI 工具集

eagle3-triage

部署与运维

查看项目

更新于 10-16 07:24

技能介绍

用途:EAGLE3 离线流水线共四步,本技能逐步定位失败点并给出可执行修复。流水线为 task_0(common/vllm/query.sh 数据合成)、task_1(common/eagle3/dump_offline_data_vllm.sh 或 _hf.sh / .sh 导出隐藏状态)、task_2(common/eagle3/train_eagle.sh 训练 EAGLE3 draft head)、task_3(common/specdec_bench/quick_check.sh 基准测试接受率)。

主要能力:先定位实验目录(--job-dir 下的 experiments 或按模型名/YAML 查找),再按 task_0 到 task_3 逐个子目录读取日志(Slurm 为 sbatch_*.out,本地 Docker 为 *.log),找首个非零退出或报错步骤;随后按步骤给出常见错误模式、根因与修复。

典型诊断:task_0 健康检查挂起多为显存不足或 vLLM 启动崩溃,可增大 TP 或节点;CUDA OOM 可减小 --max-model-len 或增大 --tensor-parallel-size;trust_remote_code 需在 task_0 参数 -- 前添加;自定义 tokenizer(如 GPT-OSS-20B 的 TIKTOKEN_RS_CACHE_DIR)需预置缓存。task_1 脚本路径错误、上游数据缺失、OOM、TRT-LLM 不支持架构可切换后端。task_2 训练 OOM 可减小 training.train_bs 或 training.training_seq_len,损失 NaN 可降低 training.lr。task_3 上游 export 缺失需重跑 task_2,draft 模型质量低需增加轮数或调参。

新模型检查:VLM 用 dump_offline_data_hf.sh;SWA 模型不能用 TRT-LLM;trust_remote_code 需同时加到 task_0 和 task_3;MoE 需核对 eagle_config.json 的 intermediate_size 与模型 moe_intermediate_size;架构不被识别可能需改 modelopt/torch/speculative/ 代码。

跳步重跑示例:uv run launch.py --yaml examples/<Org>/<Model>/hf_offline_eagle3.yaml pipeline.task_0.skip=true pipeline.task_1.skip=true --yes;单独跑 task_1 可跳过 task_0、task_2、task_3。

限制:具体阈值、部署细节与团队内部跟踪流程未在资料中提供;涉及 ModelOpt 代码改动需另提 PR。