SuperAPI AI 工具集

ml-training-recipes

智能体与模型

查看项目

更新于 10-21 16:18

技能介绍

用途

ml-training-recipes 是一套跨领域的 PyTorch 训练实战配方,面向需要训练或微调模型的机器学习研究者与工程师。它把生产代码库(Karpathy 的 autoresearch/nanochat、torchvision、HuggingFace)和现代训练实践中的经验整理成可查阅的参考文件,覆盖 LLM、视觉、扩散、医学影像、蛋白质/药物发现、空间组学、基因组学等方向。

主要能力

  • 架构选型:按数据类型(图像、文本生成、表格、音频、分子、蛋白质、医学影像)与数据规模(<10K、10K-100K、>100K 样本)给出推荐方案,例如图像小样本用预训练 CNN 微调,文本生成大样本从头预训练。核心原则是同等算力下训练配方比架构更重要。
  • 缩放定律:给出 Chinchilla 规则(约每参数 20 token 的算力最优训练),并列出 125M、1B、7B 模型在算力最优与推理最优下的 token 量,以及 FLOPs ≈ 6 × N × D 的估算公式和数据重复约 4 轮后收益递减的限制。
  • 训练循环模板:提供包含 bf16 自动混合精度、梯度累积、学习率更新、梯度清零、发散快速失败、GC 冻结等要点的代码示例。
  • 优化器配置:现代 LLM 训练按参数组使用不同优化器,2D 权重矩阵用 Muon,token 嵌入、unembedding、逐层标量用 AdamW,并给出学习率、权重衰减与维度缩放规则。
  • 学习率调度:提供基于时间的调度(autoresearch 风格)、余弦衰减、WSD(Warmup-Stable-Decay)三种方式及 warmup/warmdown 比例建议。
  • 混合精度与编译:bf16 优先于 fp16,torch.compile 配置,以及显存分配环境变量设置。
  • 显存与性能:meta device 初始化、MFU 计算与目标值、OOM 解决顺序、激活检查点、8-bit 优化器等。
  • 超参数搜索:按影响优先级排序(学习率、批大小、权重衰减、warmup),并给出 2025 默认配方表。
  • 调试清单:Karpathy 的经典流程(先理解数据、跑通端到端、过拟合单批、再加正则、最后调参),以及损失爆炸/NaN、训练慢、收敛慢、静默失败等问题的排查项。
  • 实验管理:用 TSV 记录 commit、val_bpb、显存、状态与描述,并遵循“同等条件下更简单更好”的简洁性准则。
  • 评估指标:按领域给出主指标,如 LLM 用 BPB、分类用 Accuracy/F1、分割用 mIoU/Dice、生成用 FID、回归用 RMSE/MAE。

使用方式

该技能以参考文件形式组织,按需查阅:architecture.md(Transformer/LLM 架构与权重初始化)、optimizers.md(Muon、AdamW 混合、分组学习率、编译优化器步骤)、domain-specific.md(视觉、扩散、对比学习、分布式、检查点、数据加载)、scaling-and-selection.md(缩放定律、算力预算表、决策树、DGX Spark)、biomedical.md(药物发现、蛋白质模型、医学影像、基因组学、临床 NLP)、experiment-loop.md(自主实验循环,保留/丢弃/回退)。

适用场景

适合在选定数据规模与领域后,快速确定架构、优化器、学习率调度与精度策略;也适合训练出现 NaN、收敛慢、MFU 低等问题时按清单排查;以及需要系统化记录与比较实验时使用。

限制

资料未提供该技能的安装命令、运行环境要求、收费方式、平台支持范围与具体使用步骤,这些信息暂未提供。文中给出的数值、默认配方与目标值均为资料原文所述,实际效果可能因硬件与任务而异。