SuperAPI AI 工具集

eval-harness

通用与其它

查看项目

更新于 10-16 05:04

技能介绍

用途:为 AI 辅助工作流引入评测驱动开发(EDD),把评测当作“AI 开发的单元测试”,在实现前定义预期行为、开发中持续运行、追踪回归,并用指标衡量可靠性。

主要能力:区分能力评测(测试 Claude 能否完成新任务,含任务描述、成功标准、预期输出)与回归评测(确保变更不破坏现有功能,含基线、逐项 PASS/FAIL 与 X/Y 结果)。支持三类评分器:代码评分器做确定性检查(如 grep、npm test、npm run build),模型评分器用 Claude 评估开放式输出(1-5 分加推理),人工评分器标记人工审查(含原因与风险等级)。指标包括 pass@1/pass@3(k 次尝试至少一次成功,典型目标 pass@3 > 90%)与 pass^3(连续 3 次全部成功,用于关键路径)。

使用方式:集成命令为 /eval define feature-name(在 .claude/evals/feature-name.md 创建评测定义)、/eval check feature-name(运行并报告状态)、/eval report feature-name(生成完整报告)。评测存放在 .claude/evals/ 下,含定义 .md、运行历史 .log 与回归基线 baseline.json。工作流为:定义(编码前)→实现→执行评测→报告。

适用场景:为 Claude Code 任务完成定义标准、为提示词或智能体变更建立回归测试套件、跨模型版本做基准测试、监控 pass@k 可靠性趋势。

限制与最佳实践:尽可能用代码评分器(确定性优于概率性);安全相关必须人工评审,不可完全自动化;评测应保持快速并随代码版本控制。资料未提供具体安装命令、收费与价格信息。