SuperAPI AI 工具集

testing-validator

测试与质量

查看项目

更新于 10-15 11:13

技能介绍

用途

testing-validator 用于对 Claude Code 技能进行功能验证,确保技能在实际使用中能够正确工作,而不仅仅是文档看起来完整。它通过系统化的测试操作,验证技能的核心功能、示例可执行性、集成协作、更新后的稳定性以及边界情况处理能力。

该工具与 review-multi 形成互补关系:review-multi 关注质量评估(结构、内容、模式、可用性),回答“它好不好?”;testing-validator 关注功能验证(能否运行、示例能否执行、集成是否正常),回答“它能用吗?”。两者结合可实现质量与功能的完整验证。

主要能力

testing-validator 包含五种测试操作:

  1. 功能测试(Functional Testing):验证技能核心功能是否按预期工作。从“何时使用”部分选取 2-3 个场景(主要用例、常见用例、边界用例),实际执行技能指令并记录结果,验证输出是否符合文档描述,检查错误处理是否有效。自动化程度约 30%(脚本检查),70% 为手动场景执行。时间估计 30-90 分钟。

  2. 示例验证(Example Validation):验证技能文档中所有代码与命令示例能否正确执行。扫描 SKILL.md 中的代码块,提取并分类示例(shell/bash、Python、YAML/配置、信息性示例),自动执行可运行示例并捕获输出与错误,对不可自动化的示例进行手动检查。自动化程度约 80%。时间估计 20-45 分钟。

  3. 集成测试(Integration Testing):测试技能与其他技能、工作流和组合的协作是否正确。识别集成点、测试技能依赖、执行多技能工作流、验证数据流在步骤间的传递、检查跨技能错误处理。自动化程度约 20%(依赖检查),80% 为手动集成测试。时间估计 30-90 分钟,独立技能不适用。

  4. 回归测试(Regression Testing):确保更新不会破坏既有功能。在变更前建立基线测试结果,应用变更后重新执行相同测试,对比前后结果,识别新出现的失败(回归)或新通过项(改进)。自动化程度约 60%(对比、示例重执行),40% 为手动。时间估计 30-60 分钟。

  5. 边界情况测试(Edge Case Testing):测试技能对异常场景、边界条件和极端输入的处理能力。识别空输入、最大输入、无效输入、缺失依赖、边界阈值等情况,设计并执行测试,评估错误处理是否优雅、错误信息是否有帮助、是否存在崩溃或未定义行为。自动化程度约 30%,70% 为手动场景思考。时间估计 30-90 分钟。

使用方式

使用 testing-validator 需要准备待测试的技能、能够执行示例的适当环境,并分配相应时间:快速检查 15-30 分钟,单一操作 20-90 分钟,综合测试 2-4 小时。

每种操作均提供验证清单、测试结果判定(PASS/PARTIAL/FAIL)和输出内容。例如示例验证可运行 python3 scripts/validate-examples.py /path/to/skill 自动执行 bash/python 示例。功能测试需从“何时使用”部分选取场景并实际执行。集成测试需识别依赖与工作流组合并验证数据流。回归测试需在变更前后分别运行相同测试并对比。边界情况测试需设计空输入、最大输入、无效输入等场景。

适用场景

  • 部署前功能验证
  • 示例可执行性验证
  • 工作流技能与依赖的集成验证
  • 更新后的回归测试
  • 与 review-multi 结合的综合 QA
  • CI/CD 流水线中的自动化测试
  • 边界条件与异常场景验证
  • 功能认证

限制

资料中未提供关于收费、价格、平台支持范围、具体性能指标或与其他工具兼容性的详细信息。部分操作(功能测试、集成测试、边界情况测试)以手动执行为主,自动化程度有限。集成测试对独立技能不适用。示例验证的成功率标准为生产环境 ≥90%,但实际执行效果取决于技能文档质量与环境配置。