用途:在论文声称的数字与代码产物实际产出之间闭环核对,帮助作者确认所报告指标能否复现。适用于“我的结果能复现吗”“代码是否与论文表格一致”“验证实验”“准备提交 ACM AE、USENIX、OSDI、SOSP、SIGMOD ARI、ETAPS、NeurIPS/ICML/ACL 等可复现性评估”以及填写可复现性清单等场景。
主要能力:提取论文中的数值形成可复核的论断台账;对产物做完整性与徽章就绪度审计;辅助搭建干净、隔离的运行环境并给出命令;先运行产物自带测试(pytest、make test 等)作为通过/失败门槛;随后用容差比较运行产出指标与论文表格,报告 MATCH/MISMATCH/MISSING,并输出复现报告。
使用方式:输入为实验代码目录(本地已克隆仓库)、被核对的 paper.tex 或结果表格、目标会议当前的 Call for Artifacts,可选既往运行的指标文件。常用命令包括:python3 scripts/extract_claims.py paper.tex --ledger claims.json;python3 scripts/audit_repo.py path/to/artifact --blind <single|double|none>;python3 scripts/compare_metrics.py --ledger claims.json --metrics run.json --rel-tol 0.01 --abs-tol 0.005 [--map test_acc=c1 ...]。重活(训练、长时间评测)由作者在自己的环境中执行,本技能只做搭建与引导。结果写入 paper-workspace/review/reproduction-report.md,并向 paper-workspace/INDEX.md 追加一行。
限制:一致性不等于复现,干净审计只说明产出数字在容差内与论文一致,不代表结果被独立复现或复制,也不得据此声称已获得某徽章。不得伪造任何数字、指标或“通过”的运行;未运行或未产出指标须如实记为 unverified。徽章规则必须依据会议最新的 Call for Artifacts 核对,不得凭记忆陈述。本技能不运行重型或破坏性命令,不向作者基础环境安装依赖,也不代替作者提交论文或产物;代码是否可运行、打包与归档 DOI、深度双盲清理等由相邻技能负责。