SuperAPI AI 工具集

experiment-audit

测试与质量

查看项目

更新于 10-15 21:04

技能介绍

用途:在声明实验结果之前审计实验完整性。该技能用于识别优化型智能体常见的失真失效模式,例如用模型输出伪造真值、用自身输出统计做分数归一化、引用不存在的结果文件、报告小规模试点却称全面评估等,不是检测有意欺骗,而是增加完整性约束。

主要能力与流程:执行器(Claude)只负责定位并列出文件路径,不读取或概括内容,包括评估脚本、结果文件、真值路径、实验跟踪表、论文声明与配置文件。随后把路径和审计检查清单交给外部审查后端由其直接读代码判定。默认后端为 Codex MCP(ultra),可用 reviewer: oracle-pro 切到 Oracle MCP,或用 reviewer: manual 切到 Manual Review MCP;若 Manual Review MCP 不可用应停止并打印安装命令,不要退回 Codex。调用约定:codex 用 mcp__codex__codex 和 mcp__codex__codex-reply(复用 threadId),manual 用 mcp__manual_review__review 和 mcp__manual_review__review_reply,config 需含 model_reasoning_effort 为 xhigh 等字段,且 prompt 必须与发给 Codex 的完全一致。

审计检查项:A 真值来源(是否来自数据集,还是由模型输出生成且未标注为代理评估);B 分数归一化(分母是否来自预测统计,是否同时报告原始分数);C 结果文件存在性(文件、指标键、数值、跟踪状态是否一致);D 死代码检测(指标函数是否被调用、输出是否出现在结果文件);E 范围评估(实际场景数、随机种子数是否支撑全面、稳健等措辞);F 评估类型分类(real_gt、synthetic_proxy、self_supervised_proxy、simulation_only、human_eval)。每项输出 PASS/WARN/FAIL 及文件行号证据,并给出总体结论。

输出与集成:执行器解析审查结果并写 EXPERIMENT_AUDIT.md 与 EXPERIMENT_AUDIT.json,再打印摘要。在 /research-pipeline 中它于 /experiment-bridge 之后、/auto-review-loop 之前自动运行,仅为建议性,永不阻塞流程:PASS 正常继续,WARN 打印警告并给声明打 [INTEGRITY: WARN] 标签,FAIL 打印警报并打 [INTEGRITY CONCERN] 标签。/result-to-claim 会读取 integrity_status 并附加到结论,FAIL 时降级显示;/paper-write 在 FAIL 时为受影响声明加脚注。规则包括审查者必须与执行器不同模型家族、手动审查的裁决性回复须以 Reviewer-Model 开头,无法命名执行器模型时不得断言跨家族结论而应输出 REVIEW_UNAVAILABLE。限制:该审计只能捕捉常见模式,不保证发现所有可能的伪造;缺少 EXPERIMENT_AUDIT.md 时对既有行为零影响。技能明确要求不要将其包进 /loop、/schedule 或 CronCreate,因为其结论具有裁决性,定时重跑不增加新信号且自循环接受自身输出会构成自我脱罪;应调度其前的外部等待,实验完成后再审计一次。