SuperAPI AI 工具集

ci-perf

通用与其它

查看项目

更新于 10-16 06:43

技能介绍

用途:测量 PR CI 速度与反馈时间,分析队列与执行时间、慢测试、测试套件增长及 runner 浪费,产出有证据支撑的发现。分析上游 CI 数据,但不打开上游 issue 或 PR;结果写入 fork(meridianlabs-ai/inspect_ai)的 issue。

主要能力:读取约 200 个近七天内完成的上游 PR 工作流运行,包含 job 与 step 计时,以及近期成功 Build 运行的 pytest 时长与结果样本。只覆盖 head 仓库为 UKGovernmentBEIS/inspect_ai 或 meridianlabs-ai/inspect_ai 的 PR。区分队列与执行时间,比较 median 与 p90,检查测试套件数量与慢尾,分析取消运行的算力与 setup 开销。保留的汇总含工作流/job 趋势、pytest 结果与时长、runner 分钟及前 15 项测试与 step 计时。

使用方式:交互式运行需在仓库外创建输出目录,使用 Python 与已认证的 gh: export CI_PERF_OUTPUT_DIR="$(mktemp -d /tmp/ci-perf.XXXXXX)" python .agents/skills/ci-perf/scripts/collect_ci_data.py
--out "$CI_PERF_OUTPUT_DIR/raw.json"
--summary-out "$CI_PERF_OUTPUT_DIR/summary.json" python .agents/skills/ci-perf/scripts/publish_ci_findings.py
--directory "$CI_PERF_OUTPUT_DIR" --read-history 本地验证可加 --directory "$CI_PERF_OUTPUT_DIR"。计划任务(无人值守)模式设 CI_PERF_SCHEDULF=1 时不发布。

输出与限制:report.md 限制 40000 UTF-8 字节;findings.json 为至多五条的 JSON 列表。不实现修复、不提交、不推送、不创建 PR。原始快照写在 Git 检出之外,作为 90 天 Actions artifacts。缺失数据须显式报告,不得把缺失观测当作零或提速。不提议裁剪 Python 版本矩阵;必需检查名称、覆盖率、拓扑、并发与重试策略需维护者决定。涉及 .github/workflows/ 或 node/pnpm 的改动须人工实现。发布者不加标签,是否交给自主 agent 由维护者决定。