SuperAPI AI 工具集

meta-harness-optimization

通用与其它

查看项目

更新于 10-15 21:05

技能介绍

用途:Meta-Harness 用于对模型 harness 进行端到端自动优化。harness 指基础模型外围的脚手架代码,包括记忆、检索、提示构建与工具使用,决定模型在工作时存储、检索和看到什么。框架通过自动提议、评估并演化 harness 实现,替代手工设计提示与记忆系统。

主要能力:核心概念包括 Harness(模型外围全部代码)、Proposer Agent(如 Claude Code,负责提出新 harness 变体)、Evaluator(在基准上运行并返回分数)、Meta-Loop(提议→评估→反馈的迭代循环)。提供文本分类与 Terminal-Bench 2 两个参考实验,分别搜索记忆系统配置和演化终端任务智能体脚手架。

使用方式:依赖用 uv 管理,每个实验自包含,无需全局 pip 安装。文本分类实验:cd reference_examples/text_classification 后 uv sync,再运行 uv run python meta_harness.py --iterations 1(或 10)。Terminal-Bench 2 实验:cd reference_examples/terminal_bench_2 后 uv sync,冒烟测试命令为 uv run bash scripts/run_eval.sh agents.baseline_kira:AgentHarness full 1 1 -i extract-elf,通用格式为 run_eval.sh <agent_module:AgentClass> <split> <num_tasks> <num_workers> [flags]。应用到新领域时,用 ONBOARDING.md 与编码助手对话生成 domain_spec.md,并准备 pyproject.toml、meta_harness.py、harness.py、evaluator.py、claude_wrapper.py 等最小组件。

适用场景:需要自动优化模型记忆、检索、提示与工具使用策略的任务,如文本分类、终端/计算机使用类智能体脚手架演化。

限制:需配置 ANTHROPIC_API_KEY,可选 PROPOSER_MODEL、EVALUATOR_MODEL;需 Python 3.11+;提议返回不可解析 JSON、分数不提升、API 限流等为常见问题;具体收费、价格与效果数据暂未提供。