Autoresearch Agent 是一个自主实验循环技能,灵感来自 Karpathy 的 autoresearch。其核心理念是:你睡觉,智能体做实验,醒来看到结果。智能体编辑一个文件,运行固定评估,保留改进、丢弃失败,并无限循环——不是一次猜测,而是五十次可测量的尝试不断累积。
【用途】 该技能适用于任何“目标文件 + 可衡量成功方式”的场景。当用户表达“让这个更快/更小/更好”“为某指标优化某文件”“改进我的标题/文案/提示词”“通宵运行实验”“我想把某指标从 X 提升到 Y”等意图,或涉及优化、基准测试、改进、实验循环、autoresearch 等关键词时,该技能会被激活。
【主要能力】
- 斜杠命令:/ar:setup(交互式设置新实验)、/ar:run(运行单次实验迭代)、/ar:loop(以可配置间隔启动自主循环,如 10 分钟、1 小时、每天、每周、每月)、/ar:ar-status(显示仪表盘和结果)、/ar:ar-resume(恢复暂停的实验)。
- 实验域:engineering(代码速度、内存、包体积、测试通过率、构建时间)、marketing(标题、社交文案、邮件主题、广告文案、互动)、content(文章结构、SEO 描述、可读性、点击率)、prompts(系统提示词、聊天机器人语气、智能体指令)、custom(任何有可衡量指标的场景)。
- 内置评估器:免费评估器包括 benchmark_speed(p50_ms,越低越好)、benchmark_size(size_bytes,越低越好)、test_pass_rate(pass_rate,越高越好)、build_speed(build_seconds,越低越好)、memory_usage(peak_mb,越低越好);LLM 评判评估器包括 llm_judge_content(ctr_score 0-10,越高越好)、llm_judge_prompt(quality_score 0-100,越高越好)、llm_judge_copy(engagement_score 0-10,越高越好)。LLM 评判调用用户已运行的 CLI 工具(Claude、Codex、Gemini),评估提示词锁定在 evaluate.py 中,智能体无法修改,防止作弊。
- 自定义评估器:用户可自行编写 evaluate.py,唯一要求是向 stdout 打印 metric_name: value。
- 结果查看与导出:通过 log_results.py 查看单个实验、某域下所有实验或跨实验仪表盘,支持 TSV、CSV、Markdown 导出格式。
【使用方式】 首次创建实验时运行 setup 脚本,用户决定实验存放位置:项目级(仓库内,git 跟踪,可与团队共享)或用户级(个人,位于 ~/.autoresearch/)。--scope 标志决定 .autoresearch/ 的位置。设置会创建 config.yaml、.gitignore 以及 {domain}/{experiment-name}/ 目录,包含 program.md(目标、约束、策略)、config.cfg(目标、评估命令、指标、方向)、results.tsv(实验日志,被 gitignore)和 evaluate.py(如使用 --evaluator)。results.tsv 列包括 commit、metric、status(keep/discard/crash)、description。
智能体协议:开始前读取 config.cfg 获取目标文件、评估命令、指标名、指标方向、时间预算;读取 program.md 获取策略与约束;读取 results.tsv 获取历史;检出实验分支。每次迭代:回顾结果、决定一个改动、编辑目标文件、提交、运行 run_experiment.py --single 评估、读取输出(KEEP/DISCARD/CRASH)。脚本负责超时运行评估、解析指标、与最佳比较、失败时回滚提交、记录结果。
策略升级:第 1-5 次运行低垂果实;第 6-15 次系统探索;第 16-30 次结构性变更;第 30 次以上激进实验。若 20 次以上无改进,更新 program.md 策略部分。每 10 次实验后回顾 results.tsv 模式并更新策略。
【适用场景】 适合需要持续、可量化优化的任务,如 API 速度优化、包体积缩减、测试通过率提升、构建时间缩短、营销文案点击率优化、提示词质量提升等。
【限制与规则】 每次实验只改一个变量;遵循简单性标准;绝不修改评估器(evaluate.py 是基准真相,修改将导致所有比较失效,必须硬停止);超时处理(超过时间预算 2.5 倍则视为崩溃);崩溃处理(连续 5 次崩溃暂停并告警);不新增依赖;仅在用户中断、上下文限制或达成目标时停止。主动触发提醒包括:评估命令无效、目标文件未纳入 git、指标方向不明、时间预算过短、智能体修改 evaluate.py、连续 5 次崩溃、20 次以上无改进。
【安装】 一行命令(任意工具):git clone https://github.com/alirezarezvani/claude-skills.git 然后 cp -r claude-skills/engineering/autoresearch-agent ~/.claude/skills/。多工具安装:./scripts/convert.sh --skill autoresearch-agent --tool codex|gemini|cursor|windsurf|openclaw。OpenClaw:clawhub install cs-autoresearch-agent。
【相关技能】 self-improving-agent(改进智能体自身记忆/规则,非结构化实验循环)、senior-ml-engineer(ML 架构决策,互补)、tdd-guide(测试驱动开发,测试可作为评估函数)、skill-security-auditor(发布前审计技能,非优化循环)。