SuperAPI AI 工具集

cursor-principle-explain-the-number

测试与质量

查看项目

更新于 10-16 07:14

技能介绍

用途:在信任、上报或依据一个测量数字(加速比、性能回退、吞吐、延迟、评测结果)采取行动之前,先弄清它受什么限制,并排除它其实测到的是别的东西。

主要做法: 一、问“为什么不是两倍?”指出约束结果的资源或代码路径,例如某个核心、锁、磁盘、网络或负载生成器本身。该限制器应来自运行期间的 profile 或系统计数器,并映射回源码;仅凭读代码猜出来的不算限制器。 二、列出这个数字还可能测到了什么,并逐一用证据排除。常见嫌疑包括:错误、被跳过或被缓存的工作、某一侧未调优、运行间噪声,以及端到端意义上太小而不重要的部分。 三、让证据与数字同行。把运行次数、波动范围和限制器写进备注或链接产物中,便于他人核验。

相关做法:性能数字可用 benchmark-checklist 技能执行完整流程;评测结果则对试验问同样的问题——每次运行是否都完成了任务、差距是否跨试验和模型成立、场景是否重要。

何时说明你跳过了这步:数字背后的证据没有运行次数、没有波动范围、没有点名限制器,或者省下的时间大于被改动部分本身耗时。

与 Prove It Works 的区别:后者检查输出是否真实,本技能检查一个测量数字是否真的意味着你所说的含义。

限制:资料未提供具体实现细节、代码示例、安装方式、适用平台或收费信息,暂未提供。