SuperAPI AI 工具集

update-golden-values

测试与质量

查看项目

更新于 10-16 07:24

技能介绍

用途:从指定的 GitHub Actions 工作流运行中拉取产物,覆盖 tests/functional_tests/test_cases/**/golden_values_*.json,并按测试/模型环境生成带符号的百分比变化摘要,供提 PR 使用。主要能力:调用仓库内两个脚本——download_golden_values.py 下载并覆盖 golden values;compare_golden_values_kl.py 将工作区 golden 与 git HEAD 对比,输出每个 (file, metric) 的 avg_rel_diff = mean((old − new) / old)(文件名保留 _kl 后缀,但已不再计算 KL 散度)。使用方式:需用户提供 GitHub Actions 工作流运行 ID(运行 URL 中的数字 ID)与范围(only-failing 仅下载失败/取消的 job,或 all 下载所有产生 golden values 的 job;未指定时需询问,不得静默默认)。设置 GITHUB_TOKEN(若已登录 gh 可由 gh auth token 派生,且不得提交或长期导出),创建 venv 并安装 click、python-gitlab、requests。按范围选择是否加 --only-failing,运行下载脚本;再运行比较脚本生成 CSV,并将 avg_rel_diff 乘以 100 得到带符号百分比,按测试/环境逐行输出表格。摘要中仅依据带符号百分比给出解释,如 lm loss 在 -0.01% 到 +0.01% 视为噪声,超出 -0.1% 到 +0.1% 需关注;内存类指标超出 -0.01% 到 +0.01% 需复核;iteration-time 负值表示新运行更慢,正值更快,除非重复否则视为调度/预热噪声。限制:--only-failing 仅在 GitHub 路径生效;无 git HEAD 基线的新 golden 文件会被静默跳过并告警;|old| < 1e-12 的步骤被排除,若某指标全部步骤被排除则该行省略;不得将模型合并为幅度聚合、不得使用无符号幅度排序,也不得提交 token 或 venv。