用途:在用户明确授权针对目标模型或运行执行 QAD 时,通过 Megatron Bridge 在 Slurm 上运行 ModelOpt 量化感知蒸馏,以恢复已测量的 BF16 到 PTQ 精度差距。仅 Day-0、PTQ、评估、比较或配方搜索请求不构成 QAD 授权。
主要能力与流程:先确认差距,仅复用已验证可比的 BF16/PTQ 结果与基准配置;若 PTQ 与 BF16 差距已低于 1% 则停止。随后复现 PTQ 并验证兼容性,要求 AutoBridge.can_handle() 通过、quantize.py 成功且保持原 PTQ 配置(格式、层选择、校准数据与数量、序列长度、种子);主 rank 的 .quant_summary.txt 中启用的静态量化器需有限正 amax。再显式选择拓扑,按学生与教师架构、序列长度和显存推导最小节点数与 TP/PP/CP/EP;稠密模型 EP=1、ETP=1,MoE 需满足 DP、EDP 为整数及 num_experts % EP == 0、GBS % (MBS * DP) == 0。之后一次性准备完整封顶数据集,默认复制 examples/megatron_bridge/data/nemotron-cascade-2-blend.yaml,设置分词器与工作区路径,训练前物化随机采样子集并打包序列长度。最后运行并监控 QAD,一次只跑一个训练作业。
默认训练策略:序列长度 32768,峰值/最小学习率 1e-5/1e-6,cosine 调度,上限 1000 迭代,全局批大小 512,默认数据集 nvidia/Nemotron-Cascade-2-SFT-Data,32K 下物化 token 预算 17.3B,每 25 迭代验证,检查点间隔 50,每 10 迭代记录损失,恢复基准为 150 后每 100 迭代,Slurm 时长退出为 4 小时分配的 220 分钟。
运行与限制:保持 train_iters=1000 且不设 exit_interval;仅提交足够到达检查点 150 的顺序作业,使用同一作业名与 --dependency=singleton。非有限损失、反复跳过迭代或持续尖峰时取消;迭代 50 时损失聚合需低于迭代 10。每个恢复检查点先评估 PTQ 下降最大的 1 至 3 个基准,恢复超出噪声后再跑完整套件。全套件与 BF16 差距低于 1%、恢复回退或损失与恢复均停滞时取消。时长退出后在同一输出目录恢复最新 QAD 检查点,保持数据路径、种子、拓扑、优化器、调度器、迭代与已消费样本状态不变,不从 PTQ 重启。报告需包含 PTQ 配方、数据样本、Slurm 拓扑、损失/状态、检查点及可比的 BF16/PTQ/QAD 结果。该技能仅支持 Slurm,当前 distill.py 工作流不支持专家张量并行。