SuperAPI AI 工具集

deep-learning

通用与其它

查看项目

更新于 10-16 03:43

技能介绍

用途:在 PyTorch 中构建并训练神经网络,提供从模型定义到训练、调优和排错的参考模板。

主要能力:

  • 架构模板:MLP 适用于表格数据(Linear、ReLU、Dropout);CNN 适用于图像(Conv2d、MaxPool2d、BatchNorm);RNN/LSTM 适用于序列(LSTM、GRU);Transformer 适用于 NLP 与视觉(MultiheadAttention)。文档给出 SimpleNN 与可配置 MLP 的示例代码。
  • 训练循环:含设备搬运、optimizer.zero_grad()、前向、损失、反向与 optimizer.step(),并提供基于 torch.cuda.amp 的混合精度分支(scaler.scale/step/update)。
  • 学习率调度:OneCycleLR(推荐)与 CosineAnnealingLR 两种示例。
  • 正则化与优化:Dropout、AdamW 的 weight_decay、BatchNorm、基于 val_loss 的早停。
  • 模型检查点:保存与加载 epoch、model_state_dict、optimizer_state_dict、val_loss。
  • 最佳实践:使用 AMP、梯度裁剪、定期保存检查点、优先 AdamW、监控学习曲线、正确初始化权重;避免未按学习率缩放的大 batch、无验证集训练、跳过权重初始化、忽略 NaN 损失。
  • 练习与单元测试:MNIST 的 MLP(784->256->128->10)与 AMP 训练对比;pytest 测试前向输出形状与梯度是否存在的模板。
  • 排错表:NaN 损失加梯度裁剪、损失平台提高学习率或用调度器、过拟合加 Dropout 或减层、GPU OOM 减小 batch。

使用方式:按文档中的 import torch、import torch.nn as nn 及 DataLoader、TensorDataset 组织数据,定义继承 nn.Module 的模型类并实现 forward,随后用模板训练循环迭代。

适用场景:表格数据分类、图像任务、序列建模与需要注意力机制的 NLP/视觉任务的 PyTorch 实现。

限制:文档未说明安装命令、依赖版本、可运行的完整工程结构及具体数据集获取方式,部分代码示例存在缩进与命名细节需自行校对。

其它:版本 1.4.0,状态为 Production Ready;关联 Agent 04-deep-learning,前置主题 clustering,后续主题 nlp-basics,文档指向 PyTorch Tutorials。相关网址暂未提供更多说明。