SuperAPI AI 工具集

nemo-mbridge-recipe-recommender

智能体与模型

查看项目

更新于 10-16 04:33

技能介绍

用途:为 Megatron Bridge 训练任务推荐合适的配方,并根据用户的模型、GPU 数量与训练目标调整配置。使用时先询问模型名称/规模、GPU 数量与类型、训练目标(预训练/SFT/PEFT)以及序列长度,再查索引给出配方函数名、入口命令与调整建议。

主要能力:索引库配方(src/megatron/bridge/recipes/),通过 scripts/training/run_recipe.py 运行,覆盖 Llama、Qwen2/2.5/3、Qwen3 MoE、Qwen3-Next、DeepSeek、GLM-4.5、Gemma、Nemotron、MoE 与 VLM、扩散模型等;同时索引 scripts/performance/ 下的性能配方,用于吞吐基准,使用 mock 数据、默认 50 次迭代,不应作为生产训练配置。

关键区分:库配方用于功能训练,性能配方仅用于吞吐上界基准;首次冒烟测试推荐 llama3_8b_sft_config 配合 --dataset llm-pretrain-mock;常规 SFT 用 --dataset llm-finetune,预训练与 mock 验证用 llm-pretrain-mock。

调整规则:TP 必须整除 num_key_value_heads,TP 尽量留在单节点内(除非有 NVL72 级互联),TP>1 时启用 SP,长上下文配置 CP,DP 隐含,OOM 时优先降低 micro_batch_size;MoE OOM 应先增大 EP 而非 TP;world_size = DP×TP×PP×CP×EP。还提示 TP 超限、PP 无 VP、CUDA graphs 与打包序列冲突、FSDP 在 H100 上的取舍、长上下文缺 CP、MoE 在 H100 上 overlap_grad_reduce 等陷阱。

限制:性能配方仅用于吞吐基准,非收敛验证;VLM SFT 需真实多模态数据;部分 MoE/FSDP 配置仅在 Blackwell 测试。资料提及 PR #2803 将统一性能配方,尚未提供落地细节。