用途:Skill Tester 用于验证由 skill-builder 生成或已有技能的质量。它实现 harness 的 A/B 测试方法,将 baseline(无技能)与 with-skill(使用技能)进行比较,并把四维评分量表与链式验证协议直接内置于正文,无需引用外部规则文件即可单独运行。
主要能力:支持四种测试模式。A/B 测试为默认模式,用同一提示分别在不加载与加载技能时运行,比较 token 使用量、输出质量、准确性与完整性,并按预期改进率选择 2 至 5 次以上的样本量。回归测试在技能修改后重跑既有用例,识别 PASS、REGRESSION、IMPROVEMENT 或 INFO。链式测试验证多个技能串联,包含 Happy Path、失败传播、可选步骤、输出兼容性四类设计,并列出事业计划书、博客发布、产品落地页等已知链。量表单测仅凭 SKILL.md 正文做绝对评分。四维评分量表按正确性 30%、完整性 25%、清晰性 25%、效率 20% 加权,最低加权 0.70 通过,任何维度低于 0.50 直接失败,新技能首次需达到 0.75;评分需经自评、必要时同行评估,维度分差超过 0.15 时进行讨论。此外包含反模式检查与 YAML 测试用例格式。
使用方式:将测试用例放在目标技能 tests/test-cases.yaml 中,触发词包括技能测试验证、A/B 测试、baseline、回归测试、链式测试、skill-tester、质量测量、量表评分、四维评估;工作流为加载用例、选择模式、在 Claude Code 中执行提示、测量 token 与输出、按量表评分、对比并生成报告。产出为 Markdown 评分报告与 YAML 详细结果。命令 /harness 可在 new→test→review 链中调用本技能的 test 阶段。
适用场景与限制:适用于技能发布前的质量把关、修改后的回归检查与多技能链验证。A/B 测试须在相同模型与条件下运行,token 用量用 /cost 查看;测试提示不得包含敏感信息;自动化 CI 集成计划在后续 Phase 4 实现,目前暂未提供。评分报告与样例分数仅作格式示例,不代表实际成绩。