用途
该技能用于在你信任、汇报或依据某个测量数字行动之前,先解释和验证这个数字。适用对象包括加速比、性能回退、吞吐量、延迟或评测结果等。
主要能力
核心方法是提出“为什么不是两倍?”这一问题,找出限制结果的具体资源或代码路径,例如某个核心、一把锁、磁盘、网络或负载生成器本身。
要求限制因素必须来自运行期间的性能分析或系统计数器,并映射到源代码。仅凭阅读代码得出的猜测不构成限制因素。如果无法说明为什么数字不是两倍好,就说明并不了解自己测量的是什么。
技能还要求列出该数字可能测量的其他内容,并逐一用证据排除。常见嫌疑包括:错误、被跳过或缓存的工作、从未运行的代码、未调优的一方(例如仍使用默认设置)、噪声,以及端到端影响过小的部分。
证据需要与数字一起保留:在笔记或链接的制品中记录运行次数、数据离散程度和限制因素。
使用方式
- 对于性能数字,配合 benchmark-checklist 技能执行完整流程。
- 对于评测结果,对每次试验提出同样要求:每次运行是否都完成了任务、差距是否在多次试验和不同模型之间保持、场景是否有意义。
限制
当数字背后的证据没有运行次数、没有数据离散程度或没有命名的限制因素,或者节省的时间大于被改动部分本身所花的时间时,说明跳过了该流程。
该技能与 Prove It Works 不同,后者检查的是输出是否为真。