SuperAPI AI 工具集

nemotron-lightning35

智能体与模型

查看项目

更新于 10-29 10:47

技能介绍

Nemotron 3.5 Lightning(30B-A3B)是 NVIDIA Nemotron 系列中的一个纯文本模型,总参数 30B、激活参数 3B,采用混合 Mamba-Transformer MoE 架构,并带有原生 MTP(Multi-Token Prediction)头。它面向本地智能体使用以及数据中心部署。

主要能力与特性:

  • 模型身份:30B 总参数 / 3B 激活参数的文本模型,提供发布检查点,支持本地与数据中心部署。
  • 架构:混合 Mamba-Transformer MoE,带原生 MTP 头;MTP 头来自 Super 3 Base,通过融合(将潜在 MoE 投影折叠进专家)和剪枝得到 Lightning 的规模。
  • 构建方式:不是全新预训练,而是从 Nemotron 3 Nano Base 初始化,先用 100B token 预热 MTP 头,然后从 Super 3 Base 蒸馏 1T token,再进行长上下文训练。
  • 后训练:单阶段纯文本 SFT、RLVR,以及 48K 步无热启动的 MTP boosting;没有专家教师,也没有 MOPD(与 Super 3.5 不同)。
  • 量化:NVFP4(W4A16)版本在所有 GPU SKU 上保持 16 位激活(Super 3.5 在 Blackwell 上使用 W4A4),MTP 模块不量化。
  • 评测:报告提供基座模型和 post-trained 模型的评测结果,包括 BF16 与 NVFP4 的对比。

使用方式: 该技能主要作为知识库使用。用户可以通过 /nemotron-lightning35 调用,针对模型身份、检查点、部署、架构与 MTP 头、基座模型构建过程、后训练、NVFP4 量化及评测等问题获得解答。若用户希望运行或定制某个阶段,可参考仓库中的 recipes/overview.md 和 nemotron lightning35 recipes,更广泛的流水线工作可交给 /nemotron-customize。

适用场景:

  • 查询 Lightning 3.5 的模型规格、架构细节和训练流程。
  • 了解 NVFP4 量化的配置与结果。
  • 获取基座模型与 post-trained 模型的评测数据。
  • 作为运行或定制模型前的参考资料。

限制与注意事项:

  • 不得将 Super 3.5 或 Nano 3 的数字归因于 Lightning;报告中多数表格为 Super 专属,Lightning 专属结果主要在 Table 6(基座)、Table 3(Indic 消融实验)和 Table 21(BF16 vs NVFP4)。
  • 早期仓库文档中混入了 Nano 3 的内容(如两阶段 23.5T+1.5T 课程、SFT 领域表、GenRM/DPO 表、“7 个奖励环境”、98/1/1 RL 划分、“最高 3.3x/4x”吞吐、RULER 对比、15+ 语言等),这些描述的是 Nano 3 而非 Lightning。
  • 基座模型卡与报告对基座描述不一致:模型卡称预训练超过 20T token、采用 NVFP4 配方、在继续预训练阶段训练 MTP 层且未应用蒸馏;报告则称 Nano 3 Base + 100B token MTP 预热 + 从 Super 3 Base 蒸馏 1T token。两者应分别注明来源。
  • Lightning 未报告 SFT/RL 数据或超参数、MTP 接受长度、与其他模型的对比、服务吞吐和安全评测。
  • 报告存在笔误:§3.7 拼写为 “Lightining”;Table 6 中 Lightning 与 Super 的 GSM8K 和 PIQA 值完全相同,可能是复制错误。
  • NVFP4 Mamba 投影:报告 §4.8、NVFP4 模型卡和 Model Optimizer 配方中为 FP8;页面消融表还列出未发布的 W4A16-Mamba 变体。校准方面,NVFP4 模型卡提到在 Nemotron Ultra 验证子集上使用 four-over-six,而文档命令使用公开的 cnn_nemotron_v2_mix。