用途:在 perf/bench 中对构建后的 Studio 运行封闭式性能基准,使用 Chromium 和 Sanity API 的进程内 mock,无需 token 与网络;输出为交错参考/实验会话经 cluster bootstrap 得到的每指标 A/B 判定。绝对数值与主机相关,需结合校准分数比较。结果通过 sanity-radar 读取,完整参考见 perf/bench/README.md。
主要能力与用法:本地需先执行 pnpm build:bench,再用 pnpm bench help 查看命令。pnpm bench scenarios 列出 singleString、arrayI18n、article、recipe、synthetic、syntheticLarge、loginReady、loginToTool、toolReady、emptyToolReady、loginToEmptyTool 及自定义场景。pnpm bench run --scenario singleString --sessions 4 运行绝对交互测试;加 --mode pageload 测加载指标与包体,--mode inp、--mode soak --minutes 5 分别为 INP 与浸泡模式。常见标志有 --headed、--throttle 1、--seed N、--budget <s>、--json-out <file>、--fail-on-verdict。若 tsx CLI 无法打开 IPC 管道,可直接运行 node --conditions=monorepo --import tsx perf/bench/cli/index.ts <command>。
CI 与调度:工作流为 .github/workflows/bench.yml。给 PR 打 trigger:perf-bench 标签后,每个新 push 都会重跑 PR head 与 merge-base 的 A/B(每场景一个分片),结果以 sticky 评论 bench-report 呈现。每日 05:00 UTC cron 在 main 上跑绝对套件加浸泡与 INP;周一 06:00 UTC 跑自检;可用 gh workflow run bench.yml -R sanity-io/sanity 配合 run_suite、backfill_sha、release_tag、ab_from、ab_to、self_test 等输入触发。输入规则由工作流校验:ab_from/ab_to 成对且与 backfill_sha、self_test 互斥;backfill_sha 需 run_suite;release_tag 须指向被测提交;SHA 为完整 40 字符。历史构建用 --frozen-lockfile 安装旧提交,把 sanity 及其工作区依赖打包,再用 HEAD 的测试工具构建。
结果与门槛:交互中位数有 16ms 绝对下限,pageload 采用 time-to-editable;INP、vitals、资源、包体仅报告。阈值位于 perf/bench/stats/gate.ts。⚪ 通常表示预算耗尽。出现封闭性违规或意外端点会话失败,说明 Studio 请求了 mock 不认识的端点,需在同一 PR 中扩展 perf/bench/mock-api。
扩展与限制:新增场景需在 perf/bench/studio/schemas 定义 schema、在 perf/bench/scenarios 用 defineScenario(种子 PRNG,禁用 Math.random)、在 scenarios/index.ts 注册并加入 bench.yml 的矩阵与 BENCH_EXPECTED_INTERACTION_SCENARIOS。存储文档结构变更需同步 perf/bench/report/types.ts → storeShape.ts 与 dev/radar/schemaTypes/benchRun.ts。flaky 规则要求无固定 sleep、失败会话重试并计数、环境漂移快速失败;若相同构建的判定翻转,则视为构建工具缺陷,由每周自检捕获。本技能不涉及收费、价格或平台相关信息。