SuperAPI AI 工具集

eval-recipes-runner

测试与质量

查看项目

更新于 10-15 23:57

技能介绍

用途:运行微软 eval-recipes 基准测试,验证 amplihack 改进相对基线智能体的效果。当用户要求“用 eval-recipes 测试”“运行评测”“对改动做基准测试”,或需要验证 PR 分支是否提升分数时启用。

主要能力:测试指定 amplihack 分支;与基线智能体(codex、claude_code)对比;运行特定任务(如 linkedin_drafting、email_drafting、arxiv_paper_summarizer、github_docs_extractor);对比 PR 前后分数;生成含分数提升的报告。

使用方式:一次性准备需克隆仓库并复制智能体配置、安装依赖: git clone https://github.com/microsoft/eval-recipes.git ~/eval-recipes cd ~/eval-recipes cp -r $(pwd)/.claude/agents/eval-recipes/* data/agents/ uv sync 运行基准:cd ~/eval-recipes && uv run eval_recipes/main.py --agent amplihack --task linkedin_drafting --trials 3。测试 PR 分支需先修改 install.dockerfile 检出对应分支,再复制配置并运行。

前置条件:eval-recipes 已克隆到 ~/eval-recipes;环境变量中设置 ANTHROPIC_API_KEY;安装 Docker(容器化运行);安装 uv。

限制与说明:每个任务约需 2–15 分钟,视复杂度而定;建议 3–5 次试验取平均;Docker 构建可缓存加速;结果保存在 eval-recipes 仓库的 .benchmark_results/ 目录。资料中给出的基线分数(如总体 40.6/100、LinkedIn 6.5/100、Email 26/100)及 PR #1443 的预期分数属于示例数据,实际结果以运行为准。