TorchTitan 是 PyTorch 官方的大规模 LLM 预训练平台，核心用途是从零预训练大语言模型，支持可组合的 4D 并行：FSDP2、张量并行（TP）、流水线并行（PP）和上下文并行（CP），官方称在 H100 GPU 上相比基线可获得 65% 以上加速。
主要能力包括：单节点与多节点（SLURM）预训练、Float8 训练（H100 上 30-50% 加速）、4D 并行支持 405B 级模型、与 torchtune/HuggingFace 互操作的检查点、TensorBoard 日志与自动断点续训。支持模型有 Llama 3.1（8B/70B/405B，生产级）、Llama 4、DeepSeek V3、GPT-OSS、Qwen 3、Flux（均为实验性）。
安装方式：稳定版 pip install torchtitan；源码版需克隆 https://github.com/pytorch/torchtitan 并安装 requirements.txt。下载分词器使用 python scripts/download_hf_assets.py --repo_id meta-llama/Llama-3.1-8B --assets tokenizer --hf_token=...。启动训练：MODULE=llama3 CONFIG=llama3_8b ./run_train.sh，配置通过 Python 配置注册表按名称选择，也可用 --section.key value 覆盖字段。
适用场景为从零预训练 LLM、需要 PyTorch 原生方案、需要 4D 并行或 H100 Float8 训练。限制与注意事项：配置以 Python 注册表为准而非 TOML 路径；大模型可能 OOM，需启用激活检查点或梯度累积；TP 异步集合通信可能内存偏高，可设 TORCH_NCCL_AVOID_RECORD_STREAMS=1；Float8 仅对大 GEMM 有效；并行度变更后检查点加载需用 DCP 重分片；PP 初始化需先创建种子检查点。若追求 NVIDIA 极致性能可选 Megatron-LM，微调场景可选 Axolotl/TRL。官方未提供收费与价格信息。