主要用途：为不同数据类型的 PyTorch 模型训练提供经过验证的配置模式与排查思路，减少从零试错。内容按主题组织，提供参考文件清单（architecture.md、optimizers.md、domain-specific.md、scaling-and-selection.md、biomedical.md、experiment-loop.md），需要时查阅。
主要能力：
- 架构选型：按图像、文本生成、表格、音频、分子、蛋白、医学影像的数据类型与样本量（<10K、10K–100K、>100K）给出预训练微调或从头训练的路线；强调同等算力下训练配方比架构更重要。
- 缩放规律：Chinchilla 约每参数 20 token 的算力最优配比，并给出 125M、1B、7B 在算力最优与推理最优（100×）下的 token 量；FLOPs ≈ 6×N×D；数据重复约 4 个 epoch 后收益递减。
- 训练循环：提供含梯度累积、bf16 autocast、学习率更新、set_to_none 清零、loss 爆炸快速失败、GC 冻结的代码示例。
- 优化器：按参数组分配优化器（2D 权重用 Muon、token embedding 与 lm_head 用 AdamW）、按维度缩放学习率、权重衰减线性衰减至 0、AdamW 采用 β2=0.95、eps=1e-10 等经验。
- 学习率调度：时间式 warmup-稳定-warmdown、余弦衰减与 WSD 三种实现与参数建议。
- 性能与显存：bf16 优先、torch.compile、meta device 初始化、MFU 计算与目标区间、OOM 的有序解决方案、8-bit 优化器与激活检查点。
- 调参顺序与 2025 默认配方：先学习率、再批大小、权重衰减、warmup，并给出优化器、精度、归一化（RMSNorm）、激活（SwiGLU）、位置编码（RoPE）、注意力等默认设置。
- 调试清单：Karpathy 的五步流程；loss 爆炸/NaN、训练慢/MFU 低、loss 平台、静默失败（数据泄漏、预处理不一致、标签错误、tokenizer 不匹配）的排查项；需监控梯度范数、逐层激活统计、死亡神经元与学习率是否生效。
- 实验管理：用 TSV 记录 commit、val_bpb、memory_gb、status（keep/discard）与描述，并以“同等结果下更简单更好”为取舍标准；各领域评估指标（LLM 用 BPB，分类用 Accuracy/F1，分割用 mIoU/Dice，生成用 FID，回归用 RMSE/MAE）。
适用场景：作为训练实施与排错时的查阅手册，也适合作为智能体自动实验循环的配方来源。