SuperAPI AI 工具集

autoresearch

数据与分析

查看项目

更新于 10-15 18:46

技能介绍

用途:AutoResearch 把 AI 智能体变成可整夜运行的自动化 ML 研究员。给定训练代码库和一个要最小化或最大化的单一指标,智能体会持续提出代码修改、跑固定预算训练、记录结果,并在迭代之间无需人工介入。

主要能力:核心循环为读取当前代码库、提出修改、应用到 train.py、提交并训练固定时长、评估指标、记录到 results.tsv、保留或丢弃并进入下一轮。设计原则包括:只修改一个文件(训练脚本),数据准备与评估脚本只读;单一指标决定成败;每次实验固定时间预算保证可比;不设人工中断;结果写入 results.tsv 永久记录。支持跨平台检测与调整:CUDA 可启用 torch.compile、FlashAttention;MPS 禁用 torch.compile、改用 SDPA 与手动滑动窗口掩码、降低批大小、显式将优化器状态转为 float32;CPU 禁用 torch.compile、更小批大小、梯度累积,运行约慢 5 至 10 倍。

使用方式:先进行 Phase 0 用户配置,收集训练脚本路径、只读脚本路径、每次实验时间预算、要优化的指标及方向、最大迭代数、允许修改范围、分支标签、结果文件,生成 Research Config 并确认。Phase 1 检测平台、调整环境、创建分支 autoresearch/<tag>、读取 README 与关键文件、跑基线并把基线写入 results.tsv。Phase 2 进入自主循环,每轮只做一处聚焦修改,提交后运行固定预算训练,用 grep 提取指标并比较,改进则保留,无变化或退步则 git reset --hard HEAD~1,崩溃记录原因,OOM 时按平台调整后重试一次。每 10 轮输出进度报告。Phase 3 在用户手动停止、达到最大迭代或触发停止条件时,生成 autoresearch-summary.md,列出最佳提交、无效方向与后续建议,并询问是否合并。

适用场景:通宵自动搜索训练超参数与架构改动,验证某个训练假设并继续探索,按固定迭代数运行并汇报,继续上次会话,或仅分析已有 results.tsv。也可作为研究团队的实验执行层,接收 lead-researcher 与 experiment-design 的假设和计划,向 principal-scientist 与 research-writing 交付结果。

限制:智能体只能修改训练脚本,不得改动数据准备脚本、评估框架、分词器或依赖文件;会话中不得安装新包。若两个配置指标相同,优先选择代码更少者。官方资料未提供收费、价格与更多细节。