SuperAPI AI 工具集

benchmark-checklist

测试与质量

查看项目

更新于 10-15 18:31

技能介绍

用途:在产出性能数字(PR 前后对比、回归声明、爬坡测试框架、库或配置选型)时,用证据而非对代码的猜测逐项回答清单问题。若用户只要粗略量级,一次运行即可,但仍需检查第 4、7 问并说明只有一次运行;选项之间的取舍不算粗略量级。

运行前:用准备对外发布的措辞写下预期结论(如“导出在 6 万行数据集上 p50 快 30%”);阅读测量脚本,记录它计时、计数和忽略的内容;用 uptime 查看负载、nproc 查看核数,机器繁忙时查明原因,无法停止则交错运行两侧并说明。

七个问题:1) 为什么不是两倍?找出限速因素,在不报告的运行中做剖析(top、pidstat、node --cpu-prof、py-spy、perf、strace -c),并留意负载生成器是否先饱和。2) 是否调优?两侧都按生产方式运行(release 构建、生产标志与环境、批处理与事务设置、连接池、缓存冷热、相同版本与数据);一侧用默认值等于比较配置而非实现。3) 是否突破物理上限?做算术:字节/秒对比磁盘与网络带宽,操作数/秒乘单次成本对比核数,节省时间对比被改部分耗时。4) 是否出错?统计失败与非成功响应,检查输出正确性;脚本未计数则补上。5) 是否可复现?每侧至少 5 次交替运行,报告中位数与范围;差距小于运行间波动即无可测差异,接近时用秩和检验。6) 是否重要?结合真实数据量与并发测端到端路径,报告微结果占整体的比例。7) 工作是否真的发生?确认请求到达服务器、行被写入、字节被读取、结果被使用;惰性代码与超时会产生未发生工作的数字。

报告:先给结论(更快、更慢、无可测差异或不确定),给出数字、单位、运行次数、范围与限速因素;无法命名限速因素、一侧未调优或无法检查第 4、7 问时应判为不确定。PR 正文只保留一个主数字,运行、范围与限速证据放入链接产物或笔记。

限制:资料未提供具体安装命令、平台支持、收费或价格信息。