SuperAPI AI 工具集

research-codebase

写作与研究

查看项目

更新于 10-16 06:21

技能介绍

用途:围绕科研实验搭建一套固定脚手架,使实验可批量运行,并让论文里的每个数字都能追溯到一次命令。用户提供数学部分,该技能负责让数学被反复运行并正确汇报。

主要能力:确立四阶段固定契约(数据、算法、指标、存储),新增实验只需在列表或字典中加一行;每次运行自动记录来源(argv、解析后参数、随机种子、git rev-parse HEAD),结果写入 outputs/<run_id>/{config.json, metrics.json};提供遍历 CONFIGS × SEEDS 的运行器,按 config 派生确定性 run_id,跳过已完成运行;aggregate.py 汇总 outputs/*/metrics.json,按 config 分组并输出 CSV 与 booktabs 可用 LaTeX 行,报告 n_seeds、均值与自助置信区间,train/test 分列。

使用方式:先进行 Step 0 一次性信息收集(主表或图、单次运行含义、变化项、运行时长与位置、新项目还是整理旧代码),然后填写契约,生成可在玩具数据上端到端运行的骨架,再添加用户数学。命令路径为 run.py → outputs/<run_id>/metrics.json → aggregate.py → results/。整理旧代码参考 references/codebase-cleanup-guide.md。

限制与注意:结果必须来自脚本而非 notebook,论文表格由 aggregate.py 生成而非手抄;聚合须覆盖匹配 config 的全部运行,不得取最大值或 top-N;种子数不足时不得给出更强结论。打包、CI、类型检查、实验跟踪服务、抽象配置系统等在无具体理由前跳过;但显式记录种子、固定依赖、以及一条可重跑论文全部实验的命令不可省略。部分资料未提供更多细节。