SuperAPI AI 工具集

eval-harness

编程与开发

查看项目

更新于 10-15 23:47

技能介绍

用途:Eval Harness 是面向 Claude Code 会话的正式评估框架,落地评估驱动开发(EDD)理念,把评估视为“AI 开发的单元测试”,在实现前先定义预期行为,开发中持续运行评估并跟踪回归。

主要能力:区分两类评估。能力评估(CAPABILITY EVAL)检验 Claude 能否完成此前做不到的任务,含任务描述、成功标准与预期输出;回归评估(REGRESSION EVAL)确保改动不破坏既有功能,含基线(SHA 或检查点)与既有测试的 PASS/FAIL 结果。提供三类评分器:基于代码的确定性检查(如 grep 校验模式、npm test、npm run build)、基于模型的评分(用 Claude 评估开放式输出并给出 1-5 分与理由)、人工评分(标记需人工复核的改动及风险等级)。指标包括 pass@k(k 次尝试中至少一次成功,如 pass@1、pass@3,常见目标 pass@3 > 90%)与 pass^k(k 次全部成功,用于关键路径,如 pass^3)。

使用方式:工作流为定义、实现、评估、报告。实现前用 /eval define feature-name 在 .claude/evals/feature-name.md 创建评估定义;实现中用 /eval check feature-name 运行当前评估并报告状态;实现后用 /eval report feature-name 生成完整评估报告。评估文件存放在项目的 .claude/evals/ 下,含定义、运行历史日志与回归基线。

适用场景:为 Claude Code 开发的功能建立可重复的成功标准,跟踪可靠性趋势,在改动中及早发现回归,尤其适合需要明确验收标准与回归保护的功能开发。

限制:资料未提供安装方式、收费、平台支持范围与具体性能数据;安全相关检查建议保留人工复核,不应完全自动化;评估应保持快速,否则不易被持续运行。