Megatron-Core 是面向大规模语言模型训练的框架。该技能给出用 Megatron-Core 训练 2B 至 462B 参数 LLM 的实操指引：在 H100 GPU 上，结合多种并行策略，模型计算效率（MFU）最高可达 47%。
用途 主要用于中等规模到超大规模语言模型的分布式预训练，覆盖 LLaMA 风格稠密模型和 Mixtral 风格稀疏 MoE 模型，并针对训练吞吐和显存占用提供配置建议。
主要能力
- 支持 2B 至 462B 参数模型训练。
- 并行策略：张量并行（TP）、流水线并行（PP）、数据并行（DP）、上下文并行（CP）、专家并行（EP）。
- 支持序列并行、Transformer Engine、Flash Attention、FP8 混合精度（H100）。
- 提供 LLaMA 8B、LLaMA 70B、Mixtral 8x7B 等配置示例，覆盖单机与 SLURM 多机启动。
- 提供 MFU、吞吐、显存、损失等监控指标，以及低利用率、OOM、训练变慢、损失发散等问题的排查方法。
使用方式 安装可用 Docker：docker run --gpus all -it --rm nvcr.io/nvidia/pytorch:25.04-py3，或执行 pip install megatron-core。训练时用 torchrun 启动 pretrain_gpt.py，指定并行度、模型结构、批大小、学习率等参数；示例中 70B 模型采用 TP=4、PP=4、8 节点共 64 卡的配置，MoE 示例采用 EP=4 将 8 个专家分布到 4 张 GPU。
适用场景 适合训练超过 10B 参数、追求高 MFU、使用 NVIDIA A100/H100/B200 集群、需要对并行策略做细粒度控制的生产级训练任务。模型小于 70B 或希望简化配置时，资料建议考虑 PyTorch FSDP、DeepSpeed、HuggingFace Accelerate 或 LitGPT。
限制与要求 需要 NVIDIA Ampere 及以上 GPU，FP8 需要 Hopper/Ada/Blackwell；多机需 InfiniBand 或 400Gb+ 以太网；70B 模型建议每卡 80GB 显存并配合 TP=4，405B 建议 TP=8、PP=8；检查点存储建议 1TB+ NVMe。具体调参和性能结果依赖硬件与数据配置。