NeMo AutoModel 是 NVIDIA NeMo Framework 下的一个 PyTorch DTensor 原生 SPMD 开源训练库，旨在简化和扩展 LLM、VLM、扩散模型及检索模型的训练与微调。它强调灵活性、可复现性和可扩展性，既支持小规模实验，也支持大规模多 GPU、多节点部署，适用于研究快速实验和生产环境。
主要能力方面，该库提供高吞吐可扩展训练：PyTorch DTensor 原生 SPMD 训练，同一训练脚本通过修改设备网格/配置即可从 1 GPU 扩展到大型多节点任务；可组合并行包括 PyTorch 原生 FSDP2、HSDP、TP、CP、SP 和 PP；优化内核使用 Transformer Engine、DeepEP、FlexAttn、TorchSDPA、融合注意力、旋转嵌入、Triton 及可选内核补丁等 NVIDIA 导向路径；MoE 加速包含 MoE 路由与 DeepEP 集成，以及 DeepSeek、Qwen MoE、GPT-OSS、Nemotron MoE 基准中使用的专家并行配置；支持 FP8 与混合精度（torchao 和 Transformer Engine），以及 GB200 上的 MXFP8 MoE 训练；激活检查点以重计算换取更低激活内存；内存高效损失（Linear-Cut/融合线性交叉熵）避免为损失物化完整 logits；序列打包减少填充计算；FlashAttention 打包序列支持通过每文档 cu_seqlens 处理变长路径；DCP 支持 PyTorch DCP 和 SafeTensors、分片与合并布局、合并/重分片工具及 Hugging Face 兼容输出；异步检查点后台写入以减少 I/O 停顿；Dion 和 Muon 优化器集成；环境支持 SLURM、交互式、SkyPilot 及通过 SkyPilot 的 Kubernetes 启动器。
算法方面，支持预训练（含 DeepSeekV3）、SFT、PEFT（LoRA、QLoRA）、QAT（量化感知训练）、LLM 知识蒸馏、VLM 知识蒸馏（分块 KD 损失与 Qwen3.5-VL 师生配方）、投机解码训练（EAGLE-1/2/3、P-EAGLE、DFlash、DFlash 2、DSpark）。
使用方式上，采用 YAML 驱动的配方，可通过 CLI 覆盖任意字段；提供文档、即用配方、示例和模型覆盖页面。仓库包含面向代理的技能（skills/）以协助常见开发任务（如运行配方、模型接入、开发）。Docker 示例面向 26.10 容器。
适用场景包括 LLM/VLM 的预训练、监督微调、参数高效微调、知识蒸馏和投机解码训练，以及扩散模型和检索模型训练，覆盖从单 GPU 实验到多节点大规模部署。
限制方面，资料未提供具体收费、价格、平台限制或效果数据；部分功能标注为计划中（🔜 Planned），已发布功能需参考发布说明。
