SuperAPI AI 工具集

benchmark-checklist

测试与质量

查看项目

更新于 10-16 16:27

技能介绍

Benchmark checklist(性能基准检查清单)用于在你产出一个性能数字时进行核查:例如某个 PR 的前后对比、一个性能回归声明、一个爬山法(hillclimb)测试脚手架,或者一次库与配置的选型。每个问题都要求用一次运行得到的证据来回答,而不是对代码的猜测。

对于用户只是索要一个粗略量级(ballpark)的场景,跑一次就够了。此时仍要检查第 4 个问题(是否出错)和第 7 个问题(工作是否真的发生),并说明这只是一次运行。除非那次运行看起来有问题,否则其余问题可以跳过。在多个选项之间做选择,永远不属于“粗略量级”的情形。

运行任何东西之前

把你预期要给出的结论写下来,用你最终要发布时的措辞(例如“导出在 6 万行数据集上的 p50 快了 30%”)。后面的问题就是用来检验这句话的。

阅读测量脚本,注意它计的是什么时间、计的是什么数量、忽略了什么。

用 uptime 检查平均负载,用 nproc 检查核数。如果机器很忙,先弄清是什么在运行。如果无法停掉它,就把两侧的运行交错进行,让双方看到相同的噪声,并在报告中说明这一点。

各个问题

为什么不是两倍?指出限流因素。在你不报告的一次运行里做性能剖析,因为剖析器和追踪器会拖慢被测工作。使用按进程的 CPU 占用(top、pidstat)、运行时剖析器(node --cpu-prof、py-spy、perf)、I/O 等待,以及系统调用计数(Linux 上的 strace -c),然后把热点映射到源码。也要盯住负载生成器:如果它先被压满,那你测量的是负载生成器。如果某项改动没有让数字变化,限流因素可以解释原因,所以在判定该改动无用之前先找出它。

是否调优过?让每一侧都按生产环境的方式来运行:release 构建、生产标志与环境变量、批处理与事务设置、连接池、缓存与生产环境一致地预热或冷启动,以及相同的版本和数据。如果一侧跑的是默认值,那你比较的是配置,而不是实现。如果限流因素本身就是一个设置(例如每一行一次提交、debug 构建、缺少索引),那就说明那一侧没有调优。先调优再重新测量,然后才选优胜者。如果无法调优,就不要根据那次运行选优胜者。当用户是要选择采用哪个方案时,把结论收窄到“代码今天发布出来的样子”并不能解决这个问题,因为他们采用的是那个选项,而不是今天的设置。

是否突破了极限?做算术。把每秒字节数与磁盘和网络带宽比较,把每秒操作数乘以每次操作成本与你的核数比较,把节省的时间与改动的那部分原本耗时比较。移除一个占整轮运行 10% 的部分,最多只能让整轮快大约 11%。超过某个极限的结果,测量到的是别的东西,比如缓存、空操作或有 bug。

是否出错?统计失败和非成功响应,并且检查输出是否正确,而不只是存在。拒绝常常很快,而超时和重试很慢。如果脚本没有统计错误,就把这个计数加上。

是否能复现?每一侧至少运行 5 次,交错进行(A、B、A、B……),这样预热、延迟初始化、缓存和漂移就不会偏向任何一方。报告中位数和范围。小于运行间波动的差距就是没有可测量的差异。当结论很接近时,使用秩和检验或脚手架自带的统计方法。

是否重要?在任何微基准结果旁边,测量用户实际等待的端到端路径,用真实的数据规模和并发,并把微基准结果报告为整体的一部分。一个占请求 1% 的辅助函数,无论它变得多快,最多也只能让请求快 1%。

它到底发生了吗?确认工作确实在计时区间内运行:请求到达了服务器、行被写入、字节被读取、代码使用了结果。惰性代码(没人迭代的生成器、没人 await 的 promise、JIT 可以丢弃的结果)和超时会产生根本没发生的工作对应的数字。

报告

以结论开头:更快、更慢、无可测量差异,或无法定论。

给出数字及其单位、运行次数、范围和限流因素。例如:“p50 41 ms → 33 ms,每侧 7 次运行的中位数,优化后范围 32 到 35 ms,受限于单核上的 JSON 解析。”

当你声称有差异却无法指出限流因素、某一侧未调优,或无法检查第 4、7 个问题时,把结论称为无法定论,并说明缺口在哪里。

按照“开 PR”的套路,PR 正文只保留一个主要数字。把运行记录、范围和限流因素证据放在链接的产物或笔记文件中。

其他性能材料

在 Perf issue playbook 依据基线做规划之前,先核查它的基线;此后每一个数字都要核查。

在 Hillclimb playbook 的脚手架被冻结之前先核查它。冻结后的脚手架会打印错误计数和工作计数,这样每次“保留或回退”都能顺便检查第 4、7 个问题。