SuperAPI AI 工具集

autoresearch-fleet

通用与其它

查看项目

更新于 10-16 04:55

技能介绍

用途:针对单一可量化指标(延迟、准确率、损失、分数等)做自主优化。条件是存在快速且确定性的评测流程,适合无人值守的过夜批量实验。

主要能力:智能体读取 program.md,编辑唯一可变文件(如 solution.py),运行评测命令,更新 results.tsv 记录,改进则保留提交,退步或崩溃则 git reset 回退;编排器只负责循环、在平台期切换提示词并执行停止条件。平台期判定用 bash 统计连续丢弃次数,达到 search.plateau_threshold 后下一轮注入联网搜索提示,以突破模型知识上限。

使用方式:在 fleet 根目录准备 fleet.json(指向问题目录、eval_command、metric_regex、metric_direction)、program.md(须写明 NEVER STOP)和评测命令;若用户未提供评测,可先查找 Makefile、package.json、pytest 标记等既有基准,否则在工作目录写 bench.sh/bench.py,输出单个数值并以非零码表示失败。随后执行 bash ${AGENTS_SKILLS_DIR}/scripts/launch.sh <fleet-root>,用 status.sh 监控,另有 view.sh、report.sh、pause.sh、resume.sh、kill.sh。

停止条件:stop_when.max_iterations、stop_when.cost_cap_usd,以及平台期。关键约束:评测输入应使用新鲜种子数据,避免被记忆化钻空子;git 操作用智能体而非编排器;搜索仅在卡住时触发,而非每轮都搜。

限制:资料未提供具体平台兼容性、依赖版本与收费信息;效果取决于评测确定性,未给出通用适用性证明。