用途:这是一个配方索引与推荐技能,帮助用户在 Megatron Bridge 中为指定模型、GPU 数量与训练目标选择合适的起始配置,并调整并行度、避开常见问题。
主要能力:内置库配方索引,覆盖 Llama、Qwen2/Qwen2.5、Qwen3(Dense 与 MoE)、Qwen3-Next、DeepSeek、GLM-4.5、Gemma、NemotronH、GPT-OSS、Kimi K2 以及 VLM 和 Diffusion 配方的预训练、SFT、PEFT 变体,附带 TP/PP/CP/EP 与最小 GPU 数信息;同时索引性能配方(吞吐基准)。
使用方式:先向用户确认模型名称与规模、GPU 数量与类型、训练目标、序列长度,再在索引中匹配配方函数名与入口命令。库配方入口为 uv run torchrun --nproc_per_node=8 scripts/training/run_recipe.py --recipe <recipe_function_name> --dataset llm-pretrain-mock(SFT 用 llm-finetune),可通过 CLI 覆盖字段如 'model.tensor_model_parallel_size=2'。性能配方入口为 python scripts/performance/run_script.py --recipe <model_family> --gpu_type h100 --num_gpus 64 --data mock。
调整建议:TP 需整除 num_key_value_heads 且宜留在单节点 NVLink 内;SP 在 TP>1 时开启;PP 增加气泡,可用 VP 缓解;MoE 显存不足优先提高 EP;CP 用于长上下文;world_size = DP×TP×PP×CP×EP。长序列可选用 16K/64K/128K 变体或叠加 CP。
限制:性能配方未做完整正确性验证,默认在 mock 数据上跑 50 次迭代,仅用于吞吐上界测量,不适用于生产训练,需自行验证损失曲线与收敛;部分能力(如将性能配方统一为 Python 函数)标注为即将推出,尚未落地;VLM 需真实多模态数据,Qwen35-VL MoE FSDP 资料显示仅在 Blackwell 上测试。其余未提供的信息暂未提供。