SuperAPI AI 工具集

ml-experiment-loop

数据与分析

查看项目

更新于 10-16 02:36

技能介绍

用途:在训练代码库上做自主机器学习研究,适合整夜迭代神经网络架构与超参数,目标是在固定算力预算内不靠人工干预最大化实验数量。

搭建阶段(仅一次):先用 git branch --list "autoresearch/*" 确认新标签分支不存在,再执行 git checkout -b autoresearch/<tag>;阅读 README.md、prepare.py(只读,含固定常量、数据准备、分词器、数据加载与评估,禁止修改)和 train.py(唯一可改文件);用 ls ~/.cache/autoresearch/ 确认数据存在,否则需先由人运行 uv run prepare.py;执行 uv sync;用 echo -e "commit\tval_bpb\tmemory_gb\tstatus\tdescription" > results.tsv 初始化结果表(保持不被 git 跟踪);首次运行必须是未修改的基线。

循环阶段:反复检查 git 状态、提出单一假设、最小化修改 train.py、git commit、以 uv run train.py > run.log 2>&1 运行(约 5 分钟,超 10 分钟按崩溃处理并 kill),只用 grep "^val_bpb:|^peak_vram_mb:" run.log 提取指标,再按 val_bpb 判断:改善则保留提交作为新基线,无改善则 git reset --hard HEAD~1 回滚,崩溃最多修两次否则放弃,最后按 TAB 分隔写入 results.tsv(status 为 keep/discard/crash)。

可改范围:模型架构(深度、宽度、注意力模式、激活)、优化器与调度、训练循环(批大小、累积、预热)等 train.py 内内容;不可改训练时间预算(5 分钟墙钟)、序列长度、评估协议、分词器与 evaluate_bpb。

限制与铁律:不得停止循环询问人类;不得让训练输出流入上下文,禁止 cat 或 tail 长日志;不得修改 prepare.py;回滚必须立刻 reset;不得 git add results.tsv;不得安装新包,仅用 pyproject.toml 中已有依赖;results.tsv 用 TAB 而非逗号分隔;显存仅在有意义指标提升时才可明显增加。是否收费、价格与具体平台支持暂未提供。