SuperAPI AI 工具集

sanity-radar-investigate

通用与其它

查看项目

更新于 10-16 08:45

技能介绍

用途:调查疑似 Studio 性能回归,输出带证据的结论——问题提交/PR、主机或测试工具链因素,或噪声。趋势点只是主机相对的每日样本,只有交错 A/B 运行才能定论。数据访问与查询写法见 sanity-radar 技能(references/groq-recipes.md),调度运行见 sanity-bench。

主要能力与规则:不要用两个绝对点下结论,主分支运行间噪声中位数约 12%,高于 5% 门槛;点对点差异只是假设,A/B 结论才是证据。先读主机:每次运行和每个场景分片的 runner.calibrationMs(越高越慢)与 runner.cpuModel,指标台阶与校准台阶或 CPU 型号变化重合时,先归因主机,除非 A/B 另有结论。检查测量工具:Playwright/Chromium 升级会改变 INP 与 vitals(runner.browserVersion);perf/bench/ 下的改动会同时影响该场景全部指标。inconclusive 意味着扩大范围而非忽略。水平台阶不是泄漏,soak 斜率才检测泄漏。要说明未验证的部分。

使用方式:先固定信号(场景·指标、可疑运行与上一次运行的 sha、差值),拉取两次运行的校准/CPU/浏览器版本及同一 sha 的其他运行;排除主机与工具链;用 GitHub compare 或 gitCommit 窗口缩小范围,列出可能影响该指标的提交;用 A/B 调度确认:gh workflow run bench.yml -R sanity-io/sanity -f ab_from=<full reference sha> -f ab_to=<full experiment sha>,再用 gh run list、gh run watch、gh run view 查看结果,约 30 分钟,结论表在运行摘要页。范围长时二分,每次减半,log₂(N) 次找到提交;结果会存储,可用 mode == "ab" 恢复会话。机制不明时本地复现:pnpm build:bench && pnpm bench run --scenario <scenario> --sessions 4 --headed;pnpm bench prepare-backfill --sha <sha>。报告需含问题 sha 与 PR(或 host/noise)、指标表、机制、置信度与未检查项。

适用场景:Studio 性能回归调查、基准套件信号确认、提交定位与发布归因。限制:本地数字是主机相对的,仅用于剖析而非定论;未提供具体收费、平台或效果信息。