Agent Eval Harness 是一个面向 AI 智能体、提示词与技能的评测方法/工具集，用于在发布前后检验其实际表现，并在任何变更后捕获回归。
用途：提示词常凭感觉修改、靠运气上线，模型版本一变往往无人察觉，直到用户先发现。它主张用小规模评测集当作 AI 工作最便宜的保险：二十个用例、一个脚本，每次变更都跑。
主要能力与流程：
- 定义通过条件：先写可检查的通过标准，如输出是符合指定结构的合法 JSON、答案含来源文档中的正确数字、在指定输入上拒答、调用指定工具并带上提示中的客户 id、不出现已知结构外的字段名、语气符合要求（无表情、无套话、120 词内）。
- 构build用例集：用例来自真实记录、真实工单、真实用户提示，而非想象。分四组：正常路径约 40%、边界约 30%（空、超大、歧义、多语言、格式错误）、对抗约 20%（提示注入、越界请求、要求忽略指令）、回归约 10%（把每个已报告的缺陷冻结为用例）。回归组会持续积累。
- 打分：优先用确定性评分（结构合法、字符串存在、工具被调用、数字正确、词数），其次用模型评审（给评分细则，要求分数加一行理由，需人工抽查），最后是小样本人工评审。
- 像测试一样运行：使用命令行运行，例如 node evals/run.mjs --set core --model claude-opus-5 --out evals/results/$(date +%F).json，以及与基线对比：node evals/run.mjs --compare evals/results/baseline.json。每个用例在发布温度下跑三次，报告通过率与方差（三次中过两次不算通过），重点报告相对基线的差异而非绝对分数。
规则与限制：不得为了让用例通过而修改用例；对抗用例失败要大声报错；模型、提示词、工具任一变更都要重跑全集；评测集与提示词放在同一仓库一起移动；同时跟踪每次运行的成本与延迟，而不只是质量。
输出格式包含评测集、模型、用例数 × 运行次数、通过率与基线对比、回归项（含阻塞发布的标记）、仍失败项，以及成本、p50、p95 延迟。
适用场景：智能体、提示词或技能的发布前后验证，以及模型版本升级时的回归检测。
限制：资料未提供该工具的具体安装方式、许可、平台支持与是否收费等信息。