用途:把用户描述的目标转化为可评分的行为评测,先在开发集上完成评分与缺口修复,再做留出集验证,最后产出可执行的 CI 方案。使用场景是用户要求“evaluate this agent”或需要证明某智能体行为正确。
工作方式:本技能以十二阶段连续循环内联运行,每阶段工艺存放在各自的 references/ 指南中,到达该阶段时加载,不得自行发挥;结果、分数与通过判定只能由 eval-quality 自带 CLI 计算,不得自行推算。阶段依次为:Inspection(检查目标类型)、Intake(采集行为需求与约束,需用户确认)、Corpus(设计探测语料)、Contract(编写行为评测契约)、Oracles(设计预言机与评分标准)、Adapters(搭建执行目标注册表与适配器)、Evaluator(选择或构建评测层)、Mutation(应用并回滚受控变异)、Harness(搭建运行器与评分策略)、Run(运行干净与变异两臂并打分)、Gaps(解读弱结果并修复缺口)、CI(检查仓库、分层放置检查,写 ci/evaluation-ci-plan.json 交给 bmad-testarch-framework)。
激活流程:运行 resolve_customization.py 解析 workflow 块,执行 prepend 步骤、加载持久事实、用 resolve_config.py 读取 core 与 modules.tea 配置;若缺少 _bmad/config.toml 或没有 modules.tea 表,提示用户先运行 bmad setup tea 并停止;随后用 communication_language 问候 user_name,再执行 append 步骤。
关键约束:Stage 3 前需用户确认,并比对 requirements.digest 与 eval-quality digestBytes;seal 成功后复制 .gitignore;对采用方安装执行 npm exec --prefix {tea_evaluations_folder} -- tea-evaluate digest/check/preflight 等命令,对 TeA 自身包则在仓库根运行 node cli/evaluate.js 对应子命令,并配合 eval-quality compile/seal;遇到非零退出即停止并报告命令、退出码与 stderr;preflight 仅在声明 partitionPlan 时必带 --partition,留出集 preflight 只在开发评审后进行。最多十二阶段,完成时按需执行 workflow.on_complete。
限制:收费、价格、平台与效果等资料暂未提供;具体命令需按安装方式替换占位路径。