用途
evals 用于对“严格审阅者”（strict-reviewer）这一席位进行召回检查，也可用于评估审阅指令的变更。其出发点是：审阅者漏掉缺陷的代价很高，而一个包含已知缺陷的 diff 恰好是最便宜、最诚实的考试。其它席位（如头脑风暴、计划、执行）则通过试运行记录（worklog 的 Run:/Seats: 行）由 checkup 比较评判。
用例集
- 每个仓库共用一套中心用例，存放在私有仓库 j-skills-evals 中，克隆到固定路径
~/.agents/j-skills-evals，用例位于~/.agents/j-skills-evals/strict-reviewer/。路径固定是因为已安装的技能是副本而非 git 检出。 - 若用例集缺失，应停止并给人类克隆命令：
gh repo clone johnviklund/j-skills-evals ~/.agents/j-skills-evals - 用例集为私有，因为用例会复制私有仓库的代码，严禁将用例复制到公开仓库。
- 每个用例是一个文件，命名为
strict-reviewer/<kind>-<topic>.md，格式包含标题、Kind（missed | seeded）、Source、Added、## Context、## Diff，以及“Must name”行（P0|P1）。
两类用例
- missed： 编写者或审阅者漏掉的真实 P0/P1，由
workflow wrap存入。若存在修复，干净 diff 是应用修复后的完整变更（对同一基线、包含修复所附测试）；修复未附测试时会注明“no test”。 - seeded： 已发布、已审阅的 diff，在一条新增行上植入一个现实错误（如差一错误、比较反转、过期常量）。已发布的 diff 即干净对照。它们让考试在真实遗漏出现前即可运行，生成器位于
scripts/。 - Context 即规格说明：审阅者只看到 Context 和 diff，上下文缺失会被视为缺陷；应为 diff 涉及的每个行为重述该运行的规则，并列出未包含在 diff 中的改动文件及其作用。
- 容量上限为 10 个用例，滚动更新：满时新的 missed 用例优先替换最旧的 seeded 用例，其次替换最弱的 missed 用例。
命令
evals.run reviewer [<vendor> <model> <effort>]：未指定时询问候选。若评估审阅指令变更，候选为现任模型两次：一次使用 HEAD 的phase-4-review.md，一次使用变更父提交的版本。evals.list：只读，按类型列出用例、格式不符合要求的用例以及最后一次结果。
执行流程（evals.run reviewer）
- 预检： 加载用例集；缺失 diff 或 Must name 行的用例被跳过并标记，不会导致运行失败。可用用例少于 3 个时应说明考试无意义并停止。说明成本：每个 diff 一次候选调用（植入版加各干净对照），按该席位的审阅强度，无评分模型；与人类确认。
- 运行候选： 每个 diff 使用全新上下文，提供用例的 Context、一个 diff 以及 workflow 技能的审阅指令，按席位审阅强度运行。不得展示 Must name、用例 Kind 或干净对照的存在；同一用例的植入 diff 与干净 diff 以随机顺序进入不同上下文。逐字记录发现，以及 CLI 报告的 token 与延迟。机械性失败可重试一次，二次失败记为漏掉。
- 计分（无评分模型）： 召回 = 点名数 ÷ 植入数，分 missed 与 seeded 分别报告（错配到 P0/P1 之间的另一级仍计入）；误报 = 在干净 diff 上提出的每个 P0/P1。误报需人工查看：若实为真实缺陷，则成为新的 missed 用例而非惩罚。以一张表呈现：用例 → 植入缺陷 → 候选匹配行或“—” → 干净对照上的 P0/P1。匹配由人类简短判读，最终以人类判断为准。
- 记录： 在用例集的
strict-reviewer/RESULTS.md追加一块：日期、候选（厂商·模型·强度）或指令变更（提交）、召回 N/M（missed·seeded）、K 个干净 diff 上的误报数、逐用例遗漏、成本与延迟、一行结论。在 j-skills-evals 中提交并推送。不提出路由建议：由人类自行决定是否修改 ROUTING.md，且仅当用例集不少于 3 个、全召回且零误报时才应考虑。
基本规则
- 只写入 RESULTS.md 以及第 3 步中人类确认的新 missed 用例；绝不编辑其它用例、workflow 技能或代码。
- 有界：最多 10 个用例、一个席位、每次调用一个候选。
- 来源可追溯：记录确切的模型与强度，不用家族名称。
限制
- 用例集为私有，需具备访问权限；固定路径与克隆命令如上。
- 需要人工参与确认成本、判读匹配并决定记录与否。
- 资料未提供具体费用、价格、平台支持范围或效果保证。