用途
本技能用于在给定算力预算下，为语言模型训练分配模型参数量（N）与训练 token 数（D），并在数据可用性与推理成本约束下调整分配方案。适用于回答“模型规模为 X 时应训练多少 token”“给定 Y A100 小时预算应选择多大的模型与 token 数”等问题，也可用于评估某次已发布的训练运行是算力最优、过训练还是欠训练。
主要能力
- 算力预算估算：C ≈ 6 N D，其中 D 为训练 token 数。需说明所用 N 的口径：Kaplan 计非嵌入参数，Chinchilla 计总参数（含嵌入）。系数 ≈6 仅含前向与反向矩阵乘，注意力项另计。
- Chinchilla 最优比例：D ≈ 20 × N（Hoffmann 等，2022），保持算力不变。
- Kaplan（2020）分配：N ∝ C^0.73，D ∝ C^0.27；无固定 D/N 比，算力高效路径为 D ∝ N^0.37，故 D/N 随 C 增大而下降。
- 给定 C 的最优 N：N* ≈ (C / 120)^0.5；最优 D：D* ≈ (C / 0.3)^0.5。
- 过训练（Llama 式）：D ≫ 20 × N，以更高训练损失换取更低推理成本。MoE 模型按激活参数而非总参数应用该比例。
- 拟合常数：Hoffmann 方程 α≈0.34、β≈0.28；Besiroglu 等 2024 重拟合 α≈0.35、β≈0.37，恢复约 20 token/参数。
使用方式
- 固定算力预算 C（FLOPs）：GPU 小时 × 稠密峰值 FLOPs/s × 模型 FLOPs 利用率（MFU）。
- 用 C ≈ 6 N D 枚举等算力曲线上的可行 (N, D) 组合。
- 选取 Chinchilla 最优点 D* ≈ 20 × N。将 20 视为先验，预算允许时自行拟合 IsoFLOP 曲线并以区间报告 D/N。
- 检查数据可用性：若语料在可接受质量下不足 D* token，则受数据约束，需缩小 N 或接受次优分配。
- 按推理场景调整：高 QPS 服务倾向更小 N、更多 token（相对 Chinchilla 过训练）；训练成本为主要约束时保持接近 Chinchilla 最优。
- 超参数由拟合定律而非经验法则确定：在 3 个以上小规模代理预算上扫描学习率与批大小，拟合 η_opt(C) 与 B_opt(C) 幂律。DeepSeek LLM 拟合 η_opt = 0.3118·C^−0.125、B_opt = 0.2920·C^0.3271（针对其自身数据与架构）。学习率调度采用 cosine 或 WSD。
适用场景
- 从零开始的预训练实验（如 GPT-2 复现）的规模与 token 预算规划。
- 评估已发布训练运行的算力效率。
- 在训练成本与推理成本之间做取舍决策。
限制与注意事项
- Chinchilla 最优最小化给定算力下的验证损失，并非推理最优。Llama、Mistral 等开放权重模型有意过训练更小模型。
- 区分总参数与非嵌入参数：小规模下嵌入表占总参数比例大（GPT-2 124M 为 31%），两种口径系数不同。
- 数据常是实际约束：特定领域高质量去重文本有限。
- 20:1 是启发式而非普适定律，系数随架构、数据质量与损失指标变化。
- Chinchilla 已发表拟合常数存在偏差（Besiroglu 等 2024），投影应使用重拟合值。
- Kaplan 与 Chinchilla 的差异是方法论的（FLOP 计数、warmup、优化器调优），并非简单“Kaplan 错误”。
- 低精度训练改变损失拟合中的有效容量，不改变 C ≈ 6ND 中的物理参数量。
- 后 Chinchilla 发展：重复数据约 4 个 epoch 内近乎免费；推理感知缩放建议更小模型训练更久（质量可提升至约 10,000 token/参数）；MoE 按激活参数应用 6ND；测试时算力缩放为第三轴；蒸馏缩放、RL 后训练算力（第四轴，尚未定论）。
脚本与来源
- scripts/training_math.py：共享训练算术，含参数量、6ND 与 PaLM FLOPs、MFU、墙钟小时、20:1 与参数化最优、MinHash LSH banding、激活内存。运行 --help；错误输入退出码 2。测试：scripts/test_training_math.py。
- 外部来源见 data/sources.json，含 Kaplan 等（arXiv 2001.08361）、Hoffmann 等（arXiv 2203.15556）、Besiroglu 等（arXiv 2404.10102）、Muennighoff 等（arXiv 2305.16264）、Sardana & Frankle（arXiv 2401.00448）、Kumar 等（arXiv 2411.04330）、Brown 等 GPT-3（arXiv 2005.14165）。