SuperAPI AI 工具集

phira-baseline-parity

通用与其它

查看项目

更新于 10-16 03:41

技能介绍

用途:在实现应当可选开启的功能、默认值必须保持原样,或评审者询问“是否改变了基线行为”时,用受控 A/B 运行证明基线与修改后代码在相同配置下行为一致。该技能按需惰性加载,仅在研究者批准后才运行 parity A/B 命令。

核心原则:若验收标准未明确改变默认值,实现应默认保留基线行为。

检查清单:

  1. 功能门控:确保新行为位于配置或开关之后;除非任务明确改变默认值,默认应与基线一致。
  2. 受控 A/B:选一个能覆盖相关路径的最小配置。运行 A:基线行为(开关关闭/旧路径);运行 B:新代码库中同一配置且开关关闭,证明默认未变;运行 C(可选):开关打开,证明功能确实生效。
  3. 消除混杂因素:相同随机种子、相同数据划分、相同批大小、相同精度设置。若无法保证确定性,则比较不变量与定性轨迹,例如损失下降、形状、步数、配置解析是否一致。

比较内容(按实际存在项选择):配置解析输出或记录的超参数;前一步(或前 N 步)损失是否在容差内;模型参数量或模块树;输出张量形状与 dtype;检查点元数据。

报告格式(可复制粘贴):Baseline parity;默认行为是否保留:是/否/未知;证据:A/B 命令、比较内容、结果(匹配/容差/差异);若未保留:原因、记录位置与迁移说明。

限制:资料未提供具体命令、安装方式、平台或收费信息。