SuperAPI AI 工具集

bmad-tea-evaluate

测试与质量

查看项目

更新于 10-16 17:04

技能介绍

用途

bmad-tea-evaluate 是 BMAD 测试架构(Test Architecture Enterprise, TEA)方法体系中的技能,充当“主测试架构师(Master Test Architect)”角色。其目标是把采用者从“描述了一个目标”带到“完成一次有评分的开发与留出评估”,并给出具名的差距与修复,最终以强制执行的 CI 计划收尾。当用户说“评估这个智能体”或“我想要证明它的行为是正确的”时使用它。

主要能力

本技能以单一持续循环的方式内联运行十二个阶段,每个阶段的“手艺”存放在各自的 references/ 指南中,到达该阶段时加载。阶段包括:

  1. 检查(Inspection):检查目标并识别其类型。
  2. 摄入(Intake):捕获采用者确认的行为需求与约束。
  3. 语料库(Corpus):设计探针语料库。
  4. 契约(Contract):编写行为评估契约,并用 eval-quality 的 digestBytes 对已确认的 requirements.md 字节打上 sourceSpecDigest。
  5. 判定器(Oracles):设计判定器与评分量规。
  6. 适配器(Adapters):搭建执行目标注册表与适配器。
  7. 评估层(Evaluator):选择或构建评估层。
  8. 变异(Mutation):应用并回滚受控变异。
  9. 运行装置(Harness):搭建运行器与评分策略。
  10. 运行(Run):运行干净与变异分支并评分。
  11. 差距(Gaps):解释弱结果并弥合差距。
  12. CI:检查采用者仓库,将每个检查放入层级,编写 ci/evaluation-ci-plan.json 并移交。

技能强调不自行臆造阶段手艺,也不在 eval-quality 自有 CLI 之外计算判定、分数或通过/失败决定。

使用方式

激活时需先解析工作流块(使用 resolve_customization.py),执行前置步骤、加载持久事实与配置,问候用户,再执行追加步骤。工作目录为 {tea_evaluations_folder},除非采用者另行指定。恢复时应先读取已有的 inspection 记录、evaluation.json、requirements.md、authoring-log.md、CI 计划与差距报告,再从首个未完成阶段或采用者请求且前提成立的阶段继续。在阶段 3 之前需要采用者对陈述的确认,并比对 requirements.digest。

阶段 6 中,采用者安装运行 npm exec --prefix {tea_evaluations_folder} -- tea-evaluate digest --evaluation <evaluation-folder> 等命令;TeA 自身包则从仓库根运行 node cli/evaluate.js digest 等。之后依次执行 check、eval-quality compile、eval-quality seal,任一非零退出即停止并报告命令、退出码与 stderr。密封成功后复制 assets/evaluation-folder.gitignore,按 Git 隔离流程执行 preflight(development 分区),留出分区预检仅在开发评审后运行。

适用场景

适用于需要为智能体或行为系统提供行为正确性证明的场景,包括:设计并运行评分化的行为评估、识别并修复评估中的差距、生成在 CI 中强制执行的评估计划。

限制

使用前要求项目已完成 TEA 配置(_bmad/config.toml 中需有 modules.tea 表);若存在遗留的定制覆盖文件,需先运行迁移命令并重新开始新对话。判定、分数与通过/失败结果只能由 eval-quality 自身 CLI 计算。预检使用注册表启动并满足其干净控制;带 --partition 的预检仅当 evaluation.json 声明了 partitionPlan 时才需要,否则覆盖一个分区计划会以退出码 64 结束。技能内的具体收费、价格、平台与效果信息暂未提供。