SuperAPI AI 工具集

result-to-claim

智能体与模型

查看项目

更新于 10-16 08:02

技能介绍

用途:在实验结果(尤其是主结果,而非仅 sanity check)完成后,判断数据究竟支持哪些结论、在哪些方面不成立、还缺哪些证据,避免把结论写过头。适用于论文或审稿回复中确定 claim 之前,以及结果模糊、需要客观第二意见时。

主要能力:从项目可用来源收集实验数据,优先 W&B(wandb.Api().run("<entity>/<project>/<run_id>").history() 获取指标、训练曲线与对比),也可读取 EXPERIMENT_LOG.md 的完整结果表与基线、EXPERIMENT_TRACKER.md 中 DONE 与运行中的实验、日志文件(如 ssh server "tail -100 /path/to/training.log")以及 docs/research_contract.md 中的既定 claim 与实验设计。随后通过 mcp__codex__codex 调用 Codex 做出判定,要求给出 claim_supported(yes/partial/no)、结果支持与不支持的内容、缺失证据、建议的 claim 修订、所需后续实验及置信度。最后解析字段并按结论自动分流。

使用方式:依次执行收集结果、Codex 判定、解析归一化、按判定路由。判定为 no 时在 findings.md 记录事后分析、给后续尝试设约束、更新 CLAUDE.md Pipeline Status,并决定换思路或换方案;partial 时修订当前 claim、记录差距、设计补充实验并重跑本流程(同一 claim 多轮 partial 则考虑收窄范围或换题);yes 时记录已确认 claim,消融不全则触发 /ablation-planner,证据齐全则可进入论文写作。

限制:Codex 是判定者,CC 只负责收集证据与路由,以防事后合理化;不得将 partial 上取整为 yes,单一数据集上的单个正面结果不足以支持一般性 claim;置信度低时应视为不确定并补实验。若 Codex MCP 不可用(调用失败),由 CC 自行判断并标注 [pending Codex review],不阻塞流程;无论结果如何都必须把判定与理由记入 findings.md。具体收费、平台与效果资料暂未提供。