用途:根据真实基准测试输出,更新模型文档中的基准测试章节。范围包括运行或续跑基准测试、从 results/ 收集基准 CSV 结果、更新模型 README 中的基准表格,以及在基准状态变化时更新对应文档页面。不负责样本图导出,该任务由 model-sample-image-export 负责。
推荐流程:优先使用 tools/experimental/benchmarking/benchmark.py 并配合合适的配置文件。若标准基准路径不适用于特定模型,可基于该流程派生一个小型辅助脚本,除非多个模型明显需要同一模式,否则保持模型专用,并将 CSV 等可测量输出保存到 results/ 下。
证据要求:只发布来自实际产物的基准值,例如 results/<model>_benchmark.csv、runs/ 或 results/ 下基准生成的 CSV,以及明确记录测量指标的模型专用运行输出。绝不推断缺失值。
更新规则:刷新基准表格前,先读取目标 README 与对应文档页面,再读取基准产物来源;只填写实际存在的 shot 设置与指标;不可用的行留空或标 TODO;若基准仍不完整或仍在运行,更新状态措辞。常见需刷新的小节有 Image-Level AUC、Pixel-Level AUC、Image F1 Score、Pixel F1 Score。若 README 只有占位符,只替换有测量结果支持的行。
文档同步:若 README 基准状态变化,需更新 docs/source/markdown/guides/reference/models/image/<model>.md 或 docs/source/markdown/guides/reference/models/video/<model>.md 下的对应页面;文档可短于 README,但不得与其矛盾。
质量检查:完成前确认基准产物仍存在、复制值与产物完全一致、平均值仅由测量值计算、不完整行保持清晰的不完整标记、README 与文档措辞符合实际。评审清单包括检查产物存在、每个复制值匹配、部分运行被明确标注、README 与文档措辞一致。仓库注意事项:部分基准任务可能需要派生辅助脚本;长时间运行更适合在 tmux/后台会话中续跑;基准可足以填写部分行而无须支撑所有行;绝不用编造数字替换 TODO。