SuperAPI AI 工具集

principle-explain-the-number

通用与其它

查看项目

更新于 10-16 07:14

技能介绍

用途:这是一个对“测量得到的数字”做核查的技能。在你信任、报告或依据某个数字行动之前,先找出限制它的因素,并排除它其实测量了别的东西。适用于加速比、性能回退、吞吐量、延迟或评测结果等场景。

核心理念:跑错的运行依然会打印出一个看似合理的数字。失败的请求、跳过工作的缓存、从未执行的代码、一侧仍为默认设置、以及运行间噪声,都可能产生看起来正常的结果。如果你说不出为什么这个数字没有好一倍,你就不知道你测量了什么。

主要能力与做法:

  1. 追问“为什么不是两倍?”点名限制结果的那个资源或代码路径,例如某个核心、一把锁、磁盘、网络或压测器本身。要从 profile 或运行期间采集的系统计数器获得,再映射到源码;仅凭读代码猜出来的不算限制因素。
  2. 列出这个数字还可能测量了什么,并逐条用证据排除。常见嫌疑包括错误、被跳过或缓存的工作、未调优的一侧、噪声,以及端到端影响太小的部分。
  3. 把证据和数字放在一起:在备注或链接的产物中写入运行次数、离散程度和限制因素,让读者能核查这一结论。
  4. 对性能数字,用 benchmark-checklist 技能跑完整流程;对评测结果,对试次提同样的问题:每次运行都完成了任务吗,差距在多个试次和模型间是否成立,场景是否有意义。

限制与判断标准:当数字背后的证据没有运行次数、没有离散程度、也没有点名的限制因素,或者节省的时间大于被改动部分本身所花的时间时,说明你跳过了这套流程。该技能与 Prove It Works 不同:后者检查输出是否真实,本技能检查测量得到的数字是否真的如你所说的那样。资料未提供安装命令、收费与平台信息。