SuperAPI AI 工具集

eval-creator

测试与质量

查看项目

更新于 10-16 04:53

技能介绍

用途:eval-creator 把已提升的学习(promoted learnings)转成永久 eval 用例,并运行回归检查,确认提升后的规则仍然成立。它是外层循环的回归测试步骤。资料指出:如果一次失败教会了重要东西,就应变成永久测试用例,否则知识仍然脆弱。

主要能力:创建 eval 用例;运行全部 eval、按 Pattern-Key 或按区域筛选运行;生成回归报告;维护 .evals/EVAL_INDEX.md 索引。用例存放在 .evals/ 目录,结构为 EVAL_INDEX.md 与 cases/eval-YYYYMMDD-NNN.md。

使用方式:在 harness-updater 提升模式后创建对应 eval;按节奏运行全部 eval 检查回归;重大发布前验证 harness 是否稳固;当某条提升规则似乎失效时,用定向 eval 运行诊断。用例包含 id、pattern-key、source、promoted-rule、promoted-to、created、last-run、last-result、evidence-level 等字段,以及测试内容、前置条件、验证方法、预期结果和恢复动作。

验证方法:内置 grep-check、command-check、file-check、rule-check、behavior-check,另支持 skill-check 与 script-check。rule-check 只能证明指导已安装,不能证明智能体遵循该指导;行为验证需要正负对照的可观察证据。

集成与限制:上游由 harness-updater 标记 eval 候选,learning-aggregator 识别具有明确通过/失败条件的模式;下游回归失败反馈为新的错误条目,持续失败可能说明规则需改进。可在 CI 中按周、按 PR 或提升后运行。交互会话中不与外部记忆后端集成;CI 侧持久存储见 eval-creator-ci。它不修复回归、不提升学习、不分析模式,也不替代项目测试套件——eval 测试的是 harness,不是代码。