用途:把 Megatron Core 的 GPTModel 检查点、模型 provider、训练命令与层映射迁移到 HybridModel,并安全改造已有启动脚本。
主要能力:提供按顺序编辑脚本的流程,包括入口由 pretrain_gpt.py 改为 pretrain_hybrid.py;用命令生成层模式而非手写(n=32; blk='*-'; pat=$(printf "$blk%.0s" $(seq $n))),带流水线分段时用 seg、per 与循环拼接 |;把 --num-layers N 替换为 --hybrid-layer-pattern,并删除陈旧的 --num-layers;添加 stack spec 而非叠加第二个 --spec;删除解析器拒绝的 pipeline-layout 参数并把 --save 指向新目录。提醒 shell 数组未加引号展开时 ${ARR[@]} 会重新分词和路径展开,导致模式被通配符匹配破坏,应把模式存入变量并用 "${MODEL_ARGS[@]}" 引用。
使用方式:先取回任务工件(检查点元数据、provider 或配置、训练命令、转换日志、diff 或失败输出),完整阅读权威文档,只按相关章节操作,不虚构迁移路径或静默改变目标架构,再做比例适当的验证。脚本改完用 grep -nE 检查是否有被拒或陈旧参数残留,并校验层模式形状(attn 与 mlp 各等于源 GPT 层数)。
适用场景与限制:适用于架构保持型的稠密到混合层索引迁移;权威行为、前置条件与限制只在权威文档中。资料显示同参数量、稳态吞吐差异在 0.1% 内、前两步 loss 一致属预期,出现系统性 loss 偏移、参数差异或明显吞吐差距应视为迁移缺陷。每步墙钟早期受数据缓存预热影响,应只比稳态迭代。实现与迁移指南冲突时先报告差异,获授权后先更新权威文档,不要在本技能另立规则。其余前置条件、支持范围与验证细节暂未提供。