SuperAPI AI 工具集

agentic-harness-engineering

智能体与模型

查看项目

更新于 10-16 03:39

技能介绍

用途:AHE 通过可观测性驱动的迭代,自动演化编码智能体外围的 harness(系统提示、工具描述、工具实现、中间件、技能、子智能体、长期记忆),基础 LLM 模型保持冻结。

主要能力:采用三阶段循环——Evaluate(在数据集上运行智能体并捕获完整 trace)、Analyze(用 Agent Debugger 将 trace 提炼为根因报告)、Improve(Evolve Agent 提出有证据支撑的 harness 修改)。资料称其在 Terminal-Bench 2 上把 GPT-5.4 从 69.7% 提升到 77.0% pass@1(10 次迭代),GPT-5.5 达 84.7% ± 2.1%,并产出可跨模型与基准迁移的 harness。

使用方式:需 Python ≥ 3.13、uv、tmux。安装:brew install uv tmux(macOS)或 curl -LsSf https://astral.sh/uv/install.sh | sh 与 sudo apt install -y tmux(Linux);然后 git clone https://github.com/china-qijizhifeng/agentic-harness-engineering.git、cd agentic-harness-engineering、uv sync。配置:cp .env.example .env,设置 LLM_API_KEY、LLM_BASE_URL、E2B_API_KEY、SERPER_API_KEY,可选 ADB_LLM_、GPT54_LLM_。运行前用 uv run python scripts/build_templates.py --dataset-dir ... 构建 E2B 模板。实验用 ./scripts/evolve.sh configs/experiments/xxx.yaml(可加 --attach、--batch),恢复用 ./scripts/evolve-resume.sh runs/xxx;也可用 uv run python evolve.py --config ... --run-dir ... --phase evaluate|analyze|improve 分阶段执行。配置采用 base + overlay 模式,可设 dataset、harbor(max_workers、timeout、retry_failed)、evolution(max_iterations、target_pass_rate、early_stop_patience)、llm 等。

适用场景:自动优化编码智能体 harness、跨模型/基准迁移 harness、A/B 测试中间件、多模型对比。

限制:依赖 E2B 沙箱与外部 LLM/搜索 API;并发受 E2B 配额限制;资料未提供价格、平台支持范围及完整效果保证。