用途:为 EAGLE3 离线流水线新增一个模型,生成对应的 hf_offline_eagle3.yaml 启动配置。做法是复制 tools/launcher/examples/ 下与目标模型形态最接近的示例(如稠密模型参考 Qwen3-8B 配置)并改写,路径为 tools/launcher/examples/<Org>/<Model>/hf_offline_eagle3.yaml。
流水线结构:该配置为 4 任务结构,task_0 数据合成 → task_1 隐藏状态 dump → task_2 训练 → task_3 基准测试。任务结构、参数、容器与 GPU/节点规模均可从现有示例推断,不建议手工编写。
task_1 隐藏状态 dump 后端选择:vLLM(common/eagle3/dump_offline_data_vllm.sh)为默认,覆盖广;HF(common/eagle3/dump_offline_data_hf.sh)用于 VLM/多模态、自定义代码模型、滑动窗口注意力(TRT-LLM 无法服务这些);TRT-LLM(common/eagle3/dump_offline_data.sh)用于受 TRT-LLM 支持的纯文本模型,需传 --tp <TP> 与 --moe-ep <EP>。经验规则:VLM 或滑动窗口注意力用 HF,其余用 vLLM;仅当明确需要 TRT-LLM 内核且模型为受支持的纯文本模型时才用 TRT-LLM。
模型相关调整:需要 --trust-remote-code 时,加入 task_0 的 vLLM 参数(在 -- 分隔符之前)以及 task_3 基准测试参数;专家隐藏维较大的 MoE,将 eagle_config.json 中的 intermediate_size 增大到与 moe_intermediate_size 匹配;自定义分词器(如 tiktoken)需在 task_0 与 task_1 设置 TIKTOKEN_RS_CACHE_DIR 环境变量。
使用方式:改写配置后,提交前先用 --dryrun 预览。限制:资料未提供具体命令示例、依赖版本、硬件要求与更多模型细节。