用途
Eval Harness 是一个用于 Claude Code 会话的正式评估框架,实现评估驱动开发(eval-driven development,EDD)原则。其核心理念是把评估当作“AI 开发的单元测试”:在实现之前定义预期行为,在开发过程中持续运行评估,每次变更都跟踪是否引入回归,并用 pass@k 指标衡量可靠性。
主要能力
框架包含两类评估:
- 能力评估(Capability Evals):测试 Claude 能否完成此前做不到的事情,包含任务描述、成功标准清单和预期输出。
- 回归评估(Regression Evals):确保改动不破坏既有功能,以基线(SHA 或检查点名称)对比已有测试的通过/失败状态。
评分方式有三种:
- 代码型评分器:使用确定性代码检查,例如用 grep 检查文件中是否包含预期模式、运行测试、检查构建是否成功。
- 模型型评分器:用 Claude 评估开放式输出,按是否解决问题、结构是否良好、边界情况是否处理、错误处理是否恰当等维度给出 1–5 分及理由。
- 人工评分器:标记需要人工审查的改动,并标注风险等级(低/中/高)。
指标
- pass@k:k 次尝试中至少成功一次;例如 pass@1 为首轮成功率,pass@3 为三次内成功,典型目标为 pass@3 > 90%。
- pass^k:k 次尝试全部成功,标准更高,适用于关键路径;例如 pass^3 表示连续三次成功。
使用方式
评估工作流分为定义、实现、评估、报告四步。定义阶段写明能力评估与回归评估及成功指标;实现阶段编写通过评估的代码;评估阶段运行各项评估并记录通过/失败;报告阶段汇总生成评估报告。
集成命令包括:/eval define feature-name(在 .claude/evals/feature-name.md 创建评估定义)、/eval check feature-name(运行当前评估并报告状态)、/eval report feature-name(生成完整评估报告)。
评估文件存放在项目的 .claude/evals/ 目录下,包括定义文件、运行历史日志和回归基线。
适用场景
- 为 AI 辅助工作流建立评估驱动开发(EDD)。
- 为 Claude Code 任务完成定义通过/失败标准。
- 用 pass@k 指标衡量智能体可靠性。
- 为提示词或智能体变更创建回归测试套件。
- 跨模型版本对智能体性能做基准对比。
最佳实践与限制
文档建议:编码前先定义评估、频繁运行评估、长期跟踪 pass@k 趋势、尽量使用代码型评分器(确定性优于概率性)、安全检查保留人工审查、保持评估运行快速、评估与代码一同版本管理。框架对安全性检查明确不建议完全自动化。