用途:验证由 meta-skill-builder 生成或已有的技能质量,通过 A/B 对比(无技能 baseline 与使用技能 with-skill)衡量改进,并内置四维评分细则与技能链验证协议,无需外部 rules 文件即可自包含运行。
触发关键词包括技能测试、验证、A/B 测试、baseline、回归测试、链式测试、quality 测量、rubric、四维评估等。
主要能力(四种模式):
- A/B 测试:对同一提示分别在不加载技能和加载技能时运行,比较 token 用量、输出质量(rubric 分数)、正确性(assertion 通过率)与完整性。
- 回归测试:技能修改后重跑既有测试用例,判定 PASS、REGRESSION、IMPROVEMENT 或 INFO。
- 链式测试:验证多技能按序串联,包括 Happy Path、失败传播、可选步骤跳过与输出兼容性;文档列出三条已知链(商业计划书 PPT、博客发布、产品落地页)。
- 单独评分:仅依据 SKILL.md 正文在无 A/B 对比时做绝对评估。
工作流程:加载目标技能的 tests/test-cases.yaml,选择模式,运行测试提示,测量 token/质量/时间,按四维加权评分,比较 baseline 与 with-skill,生成报告。
评分细则(加权平均):Correctness 30%、Completeness 25%、Clarity 25%、Efficiency 20%。最低通过加权分 >= 0.70,任一维度低于 0.50 硬性失败,新技能首评需 >= 0.75。计算公式:score = (correctness * 0.30) + (completeness * 0.25) + (clarity * 0.25) + (efficiency * 0.20)。评估流程含自评、同级评审与分歧解决。
输出:Score Report(Markdown)与 Test Results(YAML)。
限制:A/B 测试需相同模型与条件;token 用量通过 /cost 查看;CI 自动化暂计划后续阶段实现;测试提示不得包含敏感信息。其余细节资料未提供。