用途:当量化不是一次性 PTQ 运行,而是迭代式配方搜索时使用。该技能负责策略层:定义成功标准、选择搜索空间、排序候选、决定下一轮迭代;检查点生成、服务、评估、监控与指标比较委托给已有执行技能。直接请求如“找到最佳量化配方并为该模型生成 PTQ 检查点”即可启动。
主要能力:规划候选配方组合,覆盖数值格式(FP8/W8A8、NVFP4/W4A4、W4A16 NVFP4、INT4/AWQ、混合格式)、校准/搜索算法(max、MSE、GPTQ、AWQ、AutoQuant)、选择方法、模块族、层位置、运行时融合约束与校准预算等轴。默认成功规则:最大化所选性能目标,同时每个基准与匹配的 BF16/FP16 基线差距在 1 个百分点内;接近阈值或有噪声的退化需重跑后再决策。
使用方式:先恢复本地状态(结果表、配方日志、AutoQuant 状态、敏感度报告、实验笔记),确认优化目标、主量化族、基准集、精度损失阈值、校准预算与成本指标;始终包含 BF16/FP16 与近无损 FP8/W8A8 基线;从 modelopt_recipes 的模型专用配方起步,加入 AutoQuant 候选与至少一个手动或敏感度引导候选;每次只改变一个主要轴;通过 ptq 生成检查点,通过 deployment 服务与调试,通过 evaluation 与 launching-evals 运行评估,通过 monitor 跟踪任务,通过 accessing-mlflow 查找产物,通过 compare-results 比较基线与候选差异。
适用场景:需要为模型寻找最佳量化配方、进行多候选对比与迭代优化的场景。
限制:不重复 ptq、deployment、evaluation 等工作流;缺少优化目标、主量化族或基准集时需向用户询问,不得默认 FP8/W8A8;未评估前不得称检查点为“最佳”;融合运行时组内不得混用量化算法;位置排除需保留完整融合组;仅当 compare-results 显示无失败的外部健全性检查、候选与已验证基线可比且满足用户目标时才提升。具体命令与代码资料未提供。