用途:帮助在 ModelOpt 启动器流水线中训练、调试并验证投机解码草稿模型。适用于目标模型尚无草稿头、需要产出并确认接受率(acceptance rate)的场景。
主要能力与组织方式:技能按两条轴拆分。阶段(references/stages/)存放与算法无关的流程,包括 Configure(为尚无流水线 YAML 的模型编写配置)、Review logs(对已完成或失败的运行做通过/失败汇总)、Triage(定位单个失败任务根因并修复)、Validate(所有任务通过后确认接受率门槛)。算法(references/algorithms/)存放数据表,即脚本、recipe、关键参数、阈值与已知故障:EAGLE3 为自回归草稿头,DFlash 为块扩散,DSpark 为 DFlash 骨干加 Markov 头与可选置信头,Domino 为 DFlash 骨干加 GRU 因果修正头。DSpark 与 Domino 是 DFlash 变体,共用 recipe_type: speculative_dflash、同一训练脚本与 dflash.* 配置命名空间,由 dflash_architecture_config.projector_type 选择;建议先读 dflash.md 再读变体差异。recipe 位于 modelopt_recipes/general/speculative_decoding/<algorithm>.yaml。
使用方式:新模型的流程为先确认算法并找到最接近的启动器示例,编写流水线 YAML,先用 --dryrun 预览再提交:cd tools/launcher 后运行 uv run launch.py --yaml examples/<Org>/<Model>/<config>.yaml --yes;随后注册任务并按监控技能设置监控;完成后查看日志,对失败任务做分类修复,仅对失败任务起用 pipeline.task_N.skip=true 重跑,全部通过后验证接受率。若算法暂无数据表,阶段流程仍适用,可参照该算法的启动器示例(tools/launcher/examples///hf_*_<algorithm>.yaml)与其 recipe 推导缺失值。
限制:需要代码改动的模型支持缺口位于 modelopt/torch/speculative/,须单独提交 ModelOpt PR,仅靠流水线 YAML 无法修复未识别的架构。其他细节暂未提供。