用途
bmad-tea-evaluate 是 BMAD 测试架构(Test Architecture Enterprise, TEA)方法体系中的技能,充当“主测试架构师(Master Test Architect)”角色。其目标是把采用者从“描述了一个目标”带到“完成一次有评分的开发与留出评估”,并给出具名的差距与修复,最终以强制执行的 CI 计划收尾。当用户说“评估这个智能体”或“我想要证明它的行为是正确的”时使用它。
主要能力
本技能以单一持续循环的方式内联运行十二个阶段,每个阶段的“手艺”存放在各自的 references/ 指南中,到达该阶段时加载。阶段包括:
- 检查(Inspection):检查目标并识别其类型。
- 摄入(Intake):捕获采用者确认的行为需求与约束。
- 语料库(Corpus):设计探针语料库。
- 契约(Contract):编写行为评估契约,并用 eval-quality 的 digestBytes 对已确认的 requirements.md 字节打上 sourceSpecDigest。
- 判定器(Oracles):设计判定器与评分量规。
- 适配器(Adapters):搭建执行目标注册表与适配器。
- 评估层(Evaluator):选择或构建评估层。
- 变异(Mutation):应用并回滚受控变异。
- 运行装置(Harness):搭建运行器与评分策略。
- 运行(Run):运行干净与变异分支并评分。
- 差距(Gaps):解释弱结果并弥合差距。
- CI:检查采用者仓库,将每个检查放入层级,编写 ci/evaluation-ci-plan.json 并移交。
技能强调不自行臆造阶段手艺,也不在 eval-quality 自有 CLI 之外计算判定、分数或通过/失败决定。
使用方式
激活时需先解析工作流块(使用 resolve_customization.py),执行前置步骤、加载持久事实与配置,问候用户,再执行追加步骤。工作目录为 {tea_evaluations_folder},除非采用者另行指定。恢复时应先读取已有的 inspection 记录、evaluation.json、requirements.md、authoring-log.md、CI 计划与差距报告,再从首个未完成阶段或采用者请求且前提成立的阶段继续。在阶段 3 之前需要采用者对陈述的确认,并比对 requirements.digest。
阶段 6 中,采用者安装运行 npm exec --prefix {tea_evaluations_folder} -- tea-evaluate digest --evaluation <evaluation-folder> 等命令;TeA 自身包则从仓库根运行 node cli/evaluate.js digest 等。之后依次执行 check、eval-quality compile、eval-quality seal,任一非零退出即停止并报告命令、退出码与 stderr。密封成功后复制 assets/evaluation-folder.gitignore,按 Git 隔离流程执行 preflight(development 分区),留出分区预检仅在开发评审后运行。
适用场景
适用于需要为智能体或行为系统提供行为正确性证明的场景,包括:设计并运行评分化的行为评估、识别并修复评估中的差距、生成在 CI 中强制执行的评估计划。
限制
使用前要求项目已完成 TEA 配置(_bmad/config.toml 中需有 modules.tea 表);若存在遗留的定制覆盖文件,需先运行迁移命令并重新开始新对话。判定、分数与通过/失败结果只能由 eval-quality 自身 CLI 计算。预检使用注册表启动并满足其干净控制;带 --partition 的预检仅当 evaluation.json 声明了 partitionPlan 时才需要,否则覆盖一个分区计划会以退出码 64 结束。技能内的具体收费、价格、平台与效果信息暂未提供。