SuperAPI AI 工具集

dueling-autoresearch

写作与研究

查看项目

更新于 10-15 21:49

技能介绍

用途:在同一共享指标上让两种真正不同的方法正面对比,例如经典/算法路线对机器学习路线、两个模型家族或两种查询策略。不适合调优单一方法,也不适合对两个已完成结果做一次性比较。

主要能力:两条路线(默认名为 classical 与 learned)并行工作,各自通过 roles/TrackAgent.md 执行分析优先的迭代,并受限于自身路线。每轮双方把结果写入共享的 duel_log.md 记分板,可跨路线借鉴想法但不得转换方法。反馈信号是共享评测集上的同一 <metric>。路线支持混合代码位置:codebase 路线编辑现有仓库文件,sandbox 路线自行编写代码,并通过 eval-parity 门保证分数可比。

使用方式:先交互式解析绑定。若工作目录存在 loop.run.yaml 则加载并确认后进入循环;否则推断各绑定值并确认,再写入 loop.run.yaml。共享绑定包括 <metric>、<metric_direction>、<gate>(默认 epochs)、<budget>(默认 5)、<sandbox_root>(默认 ./sandbox)、<iter_strategy>(默认 snapshots)。每条路线需 name、code_location,以及 codebase 的 run_cmd/editable_files 或 sandbox 的 entry。初始化 sandbox 后,每轮推进两条路线各一次迭代,更新记分板,不因询问是否继续而暂停。

适用场景:仓库中已有单一模型时,learned 路线为 codebase,classical 路线为 sandbox,在不向代码库添加代码的前提下构建并迭代经典方案。

限制:绝不向代码库添加代码;codebase 路线只编辑自己的 editable_files,sandbox 路线完全位于 <sandbox_root>/<lane>/;路线之间不得互改文件。必须保持同指标、同评测,不得修改评测或指标。每轮每条路线只做一处改动。不得安装新包或添加项目缺失的依赖,辅助代码仅用标准库。每次运行输出重定向到本路线日志,不使用 tee;sandbox 自包含,禁止 ../ 逃逸。只报告当前领先者,不宣布最终赢家。