SuperAPI AI 工具集

ci-maintenance-workflow

办公与效率

查看项目

更新于 10-16 06:15

技能介绍

用途:该技能面向 ukgovernmentbeis/inspect_evals 仓库的 CI 维护,包含四类工作流:从 CI 链接修复失败测试、修复失败冒烟测试(--limit 0)、为超阈值慢测试添加 @pytest.mark.slow 标记、按 EVALUATION_CHECKLIST.md 中可自动检查标准审查 PR。

主要能力与用法:修复失败测试时,用户需提供 GitHub Actions 运行链接或待修测试;用 gh run view 查看,切到 main 并 git pull,创建 agent/<number> 分支,用 uv run pytest tests/<eval> --runslow 复现并验证,评估是否需版本号与 changelog 更新,按 build.yml 做 lint,提交并创建 PR,PR 正文须逐字包含 .github/PULL_REQUEST_TEMPLATE.md 的完整清单。修复冒烟测试时,用 uv run python tools/run_evals.py --pred <eval_name> --fail-fast 复现与验证;禁止用 skip/xfail、移除评测、注释代码、吞异常、放宽断言或替换数据集等方式“修复”;无法复现或验证时仍须提交草稿 PR 并说明。标记慢测试时,用 uv run python agent_artefacts/scripts/fetch_slow_tests.py <url_or_run_id> --threshold 10 获取建议标记值,添加 @pytest.mark.slow(N),再用 uv run ruff check --fix 与 uv run ruff format 格式化。审查 PR 工作流在 CI 中运行,输出 /tmp/SUMMARY.md 作为 PR 评论。

限制:部分步骤依赖仓库内文件与脚本,具体阈值、命令与流程以资料所述为准;其他细节暂未提供。