SuperAPI AI 工具集

experiment-logbook

写作与研究

查看项目

更新于 10-16 03:39

技能介绍

用途:该技能用于让计算实验保持科学可解释,把实验记录视为研究产出的一部分,适用于规划、运行、对比或记录实验、基准测试、消融实验、自主研究循环、过夜运行和训练运行等场景。

主要能力:运行前需记录假设、可编辑范围、冻结的评估框架、指标与方向、数据版本、时间或计算预算、命令、预期输出和停止条件。运行记录方面,需更新 experiments/registry.csv,并为非平凡运行创建 experiments/<run_id>.md,最少字段包括 run_id、git commit、命令、配置、随机种子、数据集、指标、结果、运行时长、状态和备注。

自主循环规则:先建立基线;维护机器可读账本;当代码变更重要时,每次运行前提交候选变更;若约定策略为只保留改进则只保留改进,否则记录所有变体;不得静默更改指标、数据划分或评估框架;若变更改变科学含义,须停止并等待人工批准。过夜或完全自主的campaign需从模板创建 experiments/campaigns/<campaign_id>.md,并维护 experiments/campaigns/frontier-results.tsv 或campaign专属副本,定义可变性范围、冻结框架、基线运行、前沿策略、停止条件和需人工批准的事件。

输出分离:train_outputs/ 为可信训练证据,explore_outputs/ 为探索性变体,analysis_outputs/ 为结果分析与图表,debug_outputs/ 为失败诊断。

限制:支持声明、图表、表格、工件或可复现性陈述的实验必须可从 registry.csv 追溯到运行记录、命令、输入、输出和验证结果;探索性运行保留在 explore_outputs/,仅将可信证据提升至 train_outputs/、repro_outputs/ 或 outputs/;当运行支持工件可用性、功能性、可复用性、复现或重复时,更新 artifacts/badge-evidence-ledger.csv。