PyTorch Lightning 是建立在 PyTorch 之上的高层训练框架,目标是在保留 PyTorch 灵活性的同时,把训练流程中重复的工程代码组织起来,减少样板代码。安装命令为:pip install lightning。
用途与核心结构
使用分为三步:定义 LightningModule 组织原有 PyTorch 代码(模型结构、training_step、configure_optimizers 等);准备 DataLoader;创建 Trainer 并调用 fit。示例中 Trainer 承担 GPU/TPU/CPU 切换、分布式训练(DDP、FSDP、DeepSpeed)、混合精度(FP16、BF16)、梯度累积、检查点保存、日志与进度条等工作。
主要能力
- 训练循环:只需实现 training_step,即可省去手动设备迁移、梯度清零、反向传播与参数更新。
- 验证与测试:实现 validation_step、test_step,通过 trainer.fit(model, train_loader, val_loader) 与 trainer.test(model, test_loader) 运行;资料称验证默认每个 epoch 执行,指标记录到 TensorBoard,并可按 val_loss 保存最佳模型。
- 分布式训练:在 Trainer 中设置 accelerator='gpu'、devices=8、strategy='ddp'(或 'fsdp'、'deepspeed'),代码基本不变即可启用数据分发与梯度同步,多节点通过 num_nodes 设置。
- 回调系统:可使用 ModelCheckpoint、EarlyStopping、LearningRateMonitor 等实现最佳模型保存、早停与学习率记录,并支持自定义回调。
- 学习率调度:在 configure_optimizers 中返回优化器与调度器配置,可指定 interval 与 frequency。
- 日志:training_step 中的 self.log 可自动记录指标。
适用场景
适合希望代码结构清晰、需要可直接投入生产的训练循环、在单卡/多卡/TPU 间切换、需要内置回调与日志、以及团队协作统一结构的项目。资料也给出替代方案:Accelerate 改动更小、更灵活;Ray Train 偏向多节点编排与超参数调优;原生 PyTorch 控制力最强;Keras 属于 TensorFlow 生态。
硬件与精度
支持 CPU、单 GPU、多 GPU、多节点、TPU(8 核)与 Apple MPS;精度可选 FP32(默认)、FP16、BF16(A100/H100 推荐)、FP8(H100)。
常见问题与限制
资料列出若干排查建议:loss 不下降时检查数据与模型(可在 training_step 打印 batch 形状与标签);显存不足可减小 batch size 或使用 accumulate_grad_batches 与 bf16/fp16;验证未运行时确认已传入 val_loader;DDP 意外多进程时可显式设置 devices 或先用 CPU 测试。更深入的 callbacks、分布式策略与超参数调优内容位于其参考文档中。官方文档为 https://lightning.ai/docs/pytorch/stable/,GitHub 为 https://github.com/Lightning-AI/pytorch-lightning(资料标注 29,000+ 星、版本 2.5.5+)。