SuperAPI AI 工具集

test-team-coordination

测试与质量

查看项目

更新于 10-16 03:42

技能介绍

用途:对目标团队执行 tests/scenarios/teams/ 下的测试场景,观察协作模式行为、评估验收标准、按评分表打分,并在 tests/results/ 生成 RESULT.md。适用于验证团队协作模式是否产生预期行为、修改团队定义或智能体后做结构化测试、用同一场景对比不同团队的协作模式、建立基线性能指标,以及新增智能体或调整成员后的回归测试。

主要能力:解析场景 YAML frontmatter(target、coordination-pattern、team-size、验收标准表、评分表、ground truth),校验必需章节;核查前置条件(文件存在用 Glob、注册表计数比对 _registry.yml、分支状态用 git status --porcelain 与 git branch --show-current);从 tests/_registry.yml 加载该协作模式的 key_behaviors 作为观察清单;用 TeamCreate 按场景人数启动团队并原样传入 Primary Task 提示;记录 T0–T6 各阶段时间戳;在角色分配可见后按需通过 SendMessage 注入范围变更;最后逐项判定 PASS/PARTIAL/FAIL/BLOCKED(PARTIAL 按 0.5 计入阈值),核对 ground truth、按 1–5 打分并汇总指标。

使用方式:输入为测试场景文件路径,可选运行 ID、团队人数覆盖、是否跳过范围变更。按加载场景、验证前置条件、加载模式准则、执行任务、评估行为、评估验收标准、生成 RESULT.md 七步执行,结果含运行元数据、阶段日志、角色涌现日志、验收与评分表、ground truth 校验、观察记录与结论。

限制与注意:测试的是协作而非产出质量;范围变更须在角色分配可见后注入;不要把成员个体输出与团队整体输出混同;ground truth 计数为近似值,判断是否在合理范围而非精确匹配;时间戳须实时记录不可追溯补记;场景文件缺失或无法解析时中止,可选章节缺失可继续;前置条件失败记 BLOCKED 并决定继续或中止,硬性前置条件(如目标团队文件缺失)应中止;超过半数标准无法评估则结论为不确定;结果文件写入失败时以标准输出兜底。