SuperAPI AI 工具集

model-evaluation-benchmark

通用与其它

查看项目

更新于 10-15 23:40

技能介绍

用途:该技能按 Benchmark Suite V3 参考实现,自动编排端到端的模型评估基准流程。当用户在智能体工作流中要求对 AI 模型进行基准测试、对比评估或性能测试时自动激活。

主要能力:评估维度包括效率(时长、轮次、成本、工具调用)、质量(由 reviewer 代理给出代码质量评分)、工作流遵循度(子代理调用、使用的技能、工作流步骤合规)以及产出物(生成的 GitHub issue、PR、文档)。技能覆盖从执行到清理的完整基准工作流。

使用方式:技能被调用后分五阶段执行。阶段一设置:读取 tests/benchmarks/benchmark_suite_v3/BENCHMARK_TASKS.md,确定待测模型(默认 Opus 4.5、Sonnet 4.5),创建 TodoWrite 列表。阶段二执行基准:对每个任务×模型运行 cd tests/benchmarks/benchmark_suite_v3 后执行 python run_benchmarks.py --model {opus|sonnet} --tasks 1,2,3,4。阶段三分析结果:读取 ~/.amplihack/.claude/runtime/benchmarks/suite_v3//result.json,并行启动 subagent_type="reviewer" 的任务,分析 trace 日志并评分代码质量(1-5 分)。阶段四生成报告:按 BENCHMARK_REPORT_V3.md 结构撰写 markdown 报告,创建 GitHub issue,归档产物到 GitHub release 并回填链接。阶段五清理(强制):关闭基准 PR(gh pr close {numbers})、关闭基准 issue(gh issue close {numbers})、移除工作树(git worktree remove worktrees/bench-)并确认清理完成。

适用场景:比较不同 AI 模型(如 Opus 与 Sonnet)、衡量工作流遵循度、生成完整基准报告、需要可复现基准测试时。不适用场景:简单代码审查(用 reviewer)、性能剖析(用 optimizer)、架构决策(用 architect)。

限制与参考:详细清理说明参见 tests/benchmarks/benchmark_suite_v3/CLEANUP_PROCESS.md;报告结构、任务定义、运行脚本等参考文件见该目录。具体定价、平台支持等信息资料未提供。