用途:Eval Harness 是一个评估驱动开发(EDD)框架,核心理念是在实现之前定义预期行为,把评估当作 AI 开发的单元测试,持续运行以跟踪回归,并用 pass@k 指标衡量可靠性。
主要能力:支持两类评估。能力评估(Capability Evals)测试 Claude 能否完成新任务,格式为 [CAPABILITY EVAL: feature-name],列出 Task 与 Success Criteria 清单。回归评估(Regression Evals)确保改动不破坏既有功能,格式为 [REGRESSION EVAL: feature-name],记录 Baseline(SHA 或 checkpoint)与各测试的 PASS/FAIL 及 X/Y passed 结果。提供四类评分器:代码评分器(确定性检查,如 <test-command> && echo PASS)、规则评分器(正则/模式约束)、模型评分器(LLM-as-judge 用于开放式质量)、人工评分器(模糊输出的人工复核)。pass@k 指标包括 pass@1(首次成功率)、pass@3(3 次内成功,实用可靠性)、pass^3(3 次全成功,稳定性测试);建议阈值:能力评估 pass@3 不低于 90%,回归评估在发布关键路径上 pass^3 等于 100%。
使用方式:工作流分四步——定义(编码前写 EVAL 清单与成功标准)、实现(写代码通过评估)、评估(运行并记录 PASS/FAIL)、报告(输出能力与回归通过数及状态)。示例报告格式:EVAL REPORT: add-authentication,Capability: 3/3 passed (pass@3: 100%),Regression: 3/3 passed (pass^3: 100%),Status: SHIP IT。
适用场景:为 AI 工作流建立 EDD、定义任务完成的通过/失败标准、衡量智能体可靠性、为提示/智能体改动建立回归套件。
限制与反模式:避免提示过拟合已知评估样例、只测顺境路径、只追通过率而忽略成本/延迟、在发布门禁中允许不稳定的评分器。最佳实践包括编码前定义评估、频繁运行、长期跟踪 pass@k、优先使用确定性的代码评分器、安全相关保留人工复核、保持评估快速,并将评估与代码一起版本化。