SuperAPI AI 工具集

meta-harness-terminal-bench-2

智能体与模型

查看项目

更新于 10-16 01:31

技能介绍

用途:这是 Meta-Harness(Terminal-Bench 2)流程中的一次迭代环节,负责进化 AgentHarness 智能体外壳。它不运行基准测试,只分析结果与失败轨迹、提出智能体变体并实现,评测由外部循环 meta_harness.py 负责。

主要能力与要求:每次迭代必须产出一个新的智能体变体,不得输出“前沿已最优”或提前中止。候选为单个 Python 文件 agents/<name>.py,类必须命名为 AgentHarness,且需继承 harbor.agents.terminus_2.terminus_2.Terminus2,通过 --agent-import-path "agents.<name>:AgentHarness" 加载评测。可自由改写任意方法、新增工具、调整 LLM 调用与命令执行;不得修改已有智能体文件、meta_harness.py 或 claude_wrapper.py。

工作流:第一步用子智能体分析 frontier_val.json、evolution_summary.jsonl 及 jobs/、logs/ 下的轨迹,给出 STATE、HYPOTHESIS、CANDIDATE;第二步实现候选并做导入冒烟测试 uv run python -c "from agents.<name> import *; print('OK')";第三步写 pending_eval.json,包含 iteration、candidates(name、import_path、hypothesis、changes、expected_efficiency)。

设计原则:每个候选只测试一个假设,机制优先,针对具体失败模式,不投机添加改动。

限制:须遵守防过拟合规则,不得硬编码或提及具体任务名,改进须通用。模型为 Claude Opus 4.6,评测使用官方 TB2 hard split,默认每任务 2 次试验,参考基线 28.1% 到 46.5%。所有方法为 async,需 await 调用 super();AgentHarness 直接调用 litellm.acompletion,不使用 harbor 的 Chat 做 LLM 调用;工具 schema 为 TOOLS 常量,可扩展;提示模板使用 {instruction} 与 {terminal_state} 占位符;_limit_output_length 截断阈值为 30KB。费用、价格等未在资料中提供。