SuperAPI AI 工具集

eval-harness

测试与质量

查看项目

更新于 11-10 16:18

技能介绍

用途

Eval Harness 是一个用于 Claude Code 会话的正式评估框架,实现评估驱动开发(eval-driven development,EDD)原则。其核心理念是把评估当作“AI 开发的单元测试”:在实现之前定义预期行为,在开发过程中持续运行评估,每次变更都跟踪是否引入回归,并用 pass@k 指标衡量可靠性。

主要能力

框架包含两类评估:

  • 能力评估(Capability Evals):测试 Claude 能否完成此前做不到的事情,包含任务描述、成功标准清单和预期输出。
  • 回归评估(Regression Evals):确保改动不破坏既有功能,以基线(SHA 或检查点名称)对比已有测试的通过/失败状态。

评分方式有三种:

  1. 代码型评分器:使用确定性代码检查,例如用 grep 检查文件中是否包含预期模式、运行测试、检查构建是否成功。
  2. 模型型评分器:用 Claude 评估开放式输出,按是否解决问题、结构是否良好、边界情况是否处理、错误处理是否恰当等维度给出 1–5 分及理由。
  3. 人工评分器:标记需要人工审查的改动,并标注风险等级(低/中/高)。

指标

  • pass@k:k 次尝试中至少成功一次;例如 pass@1 为首轮成功率,pass@3 为三次内成功,典型目标为 pass@3 > 90%。
  • pass^k:k 次尝试全部成功,标准更高,适用于关键路径;例如 pass^3 表示连续三次成功。

使用方式

评估工作流分为定义、实现、评估、报告四步。定义阶段写明能力评估与回归评估及成功指标;实现阶段编写通过评估的代码;评估阶段运行各项评估并记录通过/失败;报告阶段汇总生成评估报告。

集成命令包括:/eval define feature-name(在 .claude/evals/feature-name.md 创建评估定义)、/eval check feature-name(运行当前评估并报告状态)、/eval report feature-name(生成完整评估报告)。

评估文件存放在项目的 .claude/evals/ 目录下,包括定义文件、运行历史日志和回归基线。

适用场景

  • 为 AI 辅助工作流建立评估驱动开发(EDD)。
  • 为 Claude Code 任务完成定义通过/失败标准。
  • 用 pass@k 指标衡量智能体可靠性。
  • 为提示词或智能体变更创建回归测试套件。
  • 跨模型版本对智能体性能做基准对比。

最佳实践与限制

文档建议:编码前先定义评估、频繁运行评估、长期跟踪 pass@k 趋势、尽量使用代码型评分器(确定性优于概率性)、安全检查保留人工审查、保持评估运行快速、评估与代码一同版本管理。框架对安全性检查明确不建议完全自动化。