用途:提供可复用的训练循环代码模式,帮助减少训练不稳定、无法续训和调参成本过高的问题,覆盖 PyTorch Lightning 与 Hugging Face Transformers 两条技术路线。
主要能力:一、LightningModule 完整结构,包含前向、训练/验证步骤、torchmetrics 指标(AUROC、F1Score)、AdamW 优化器与 CosineAnnealingLR,以及 Trainer 配合 ModelCheckpoint、EarlyStopping、LearningRateMonitor 使用。二、Hugging Face Trainer 生产配置,含 warmup_ratio、lr_scheduler_type、梯度累积、bf16、compute_metrics 自定义指标,并通过 EarlyStoppingCallback 和 load_best_model_at_end 选择最优模型。三、用 Tuner.lr_find 搜索建议学习率,或用 get_cosine_schedule_with_warmup 手动设置预热。四、按步计算并记录梯度范数(裁剪前后)并在总范数超过阈值时用 clip_grad_norm_ 裁剪,同时对 NaN 损失做检查。五、检查点保存与恢复:同时保存模型、优化器、调度器状态和 best_metric,采用先写临时文件再重命名的方式写入;加载时按 map_location 载入并返回 epoch 与最优指标。
使用方式:把示例类与 Trainer 配置接入数据集与 DataModule;续训前先加载检查点并用 trainer.train(resume_from_checkpoint=...) 或循环从 start_epoch 开始。
适用场景:分类任务(如流失预测、文本分类)的训练、调参与中断恢复。
限制与提醒:资料给出若干反模式,例如不做单批次过拟合测试、检查点不带优化器状态、只监控训练损失、使用固定学习率而无调度,但未提供性能、收费、平台或效果数据,也未给出完整验证步骤与依赖版本,实际使用需按环境调整。