用途:规划并完成基线(baseline,参考检查点)与候选(candidate,通常为基线的进一步量化版本)之间的评测对比,衡量候选检查点的精度变化,并给出量化可行性结论。
主要能力:确定候选检查点/运行及其匹配基线(可从工作区或配置中的 PTQ 源模型推断,无法推断时需向用户询问);缺失基线或候选评测时,委派给 evaluation 技能创建、运行并验证;获取双方任务列表、配置、评分产物与日志(用户提供 MLflow 运行或 invocation ID 时用 accessing-mlflow 技能获取);确认每次运行通过评测 Step 9 后再比较分数;按 recipes/tasks/<task>.md 的 Score Extraction 使用规范分数字段;执行外部基线合理性检查并记录来源 URL、协议差异与任务状态;多任务或重复运行时在对话上下文之外计算精确差值。
使用方式:先建立基线与候选,补齐缺失评测,再核对可比性清单(提示词、系统提示、聊天模板、任务名、基准版本、数据集划分、容器、harness、生成参数、推理轨迹处理、样本数、judge/模拟器配置、评分字段、超时策略等),最后按报告格式输出。
适用场景:量化模型精度评估、基线对比、量化可行性判定。
限制:可比性不一致时需重跑或标注为非同类比较;基线精度须与门槛匹配,请求相对 BF16 的门槛但无 BF16 基线时应报告为不确定;SciCode 需 num_repeats: 1 且每侧至少 8 次运行,少于 8 次为 INDETERMINATE;外部基线合理性失败时不得报告 acceptable;用户未提供接受阈值时可行性报告为不确定,不得自行编造。