nanotron
AI开发平台Nanotron 是 Hugging Face 推出的极简大型语言模型 3D 并行训练库,用于预训练 Transformer 模型。它提供简单灵活的 API,可在自定义数据集上预训练模型,并专注于易用性、速度与可扩展性。支持 3D 并行(数据、张量、流水线并行)、MoE 专家并行、ZeRO-1 优化器、FP32 梯度累积、参数绑定与分片、自定义模块检查点、谱 µTransfer 参数化以及基于 CUDA 事件的精确 GPU 性能测量。仓库包含安装指南、快速开始、示例脚本、基准测试和贡献说明,并附带 Ultrascale Playbook 作为 LLM 训练扩展指南。