SuperAPI AI 工具集

autoresearch

写作与研究

查看项目

更新于 10-15 17:35

技能介绍

用途:autoresearch 用于对任意优化目标(如降低延迟)执行严格的自主实验循环,把优化当作有纪律的研究过程而非碰运气刷分。

主要能力:开始前先澄清目标、主指标名称/单位/方向、最小有意义改进(默认1%)、真实负载命令、正确性门槛、可改动范围与预算,模糊时先提问。每次实验对应一个假设,用重复测量(默认2次预热、5次测量,以中位数决策)判断保留或丢弃。所有实验(含被否想法、崩溃、失败)写入机器可读的 JSONL 账本,并生成 CSV 与 HTML 报告、图表。

使用方式:脚本包括 scripts/init_experiment.py(初始化会话并确保 .autoresearch/ 不被跟踪、生成 autoresearch.md)、scripts/run_experiment.py(运行预热与测量、解析 METRIC 行、输出 JSON 记录)、scripts/log_experiment.py(追加账本并刷新 CSV/HTML)、scripts/render_report.py(重建报告)。典型流程为初始化会话后先记录基线,再逐个记录候选实验。示例:python3 scripts/init_experiment.py --goal "Reduce latency in hot path" --metric-name latency_ms --unit ms --direction lower --command ./autoresearch.sh --checks-command ./autoresearch.checks.sh --scope src/hot_path.ts;python3 scripts/run_experiment.py --id baseline --hypothesis "Control run" --change-summary "No code changes" --baseline --output .autoresearch/baseline.json;python3 scripts/log_experiment.py --input .autoresearch/baseline.json;python3 scripts/render_report.py。

适用场景:性能优化、参数调优等需要可复现、可审计证据链的优化任务,尤其适合需要区分真实提升与噪声的场景。

限制:需在专用 worktree 或干净分支运行,不应在有无关改动的脏树中使用;本地产物 .autoresearch/ 不入库,autoresearch.md、autoresearch.sh 需入库,正确性门槛存在时需 autoresearch.checks.sh;长跑时需注意日志膨胀、假设重复与收益停滞,应设停止条件并归档。资料未提供收费、价格、平台支持等细节。