SuperAPI AI 工具集

skill-validator

测试与质量

查看项目

更新于 10-16 07:50

技能介绍

用途

Skill Validator 用于按生产级质量标准验证任意技能(skill)。它适用于审查、审计或改进技能的场景,帮助判断一个技能是否达到可广泛使用的质量水平。

主要能力

该技能围绕 9 大类评分标准对技能进行评估,每项标准按 0-3 分打分:0 表示缺失,1 表示存在但不充分,2 表示实现合格,3 表示实现优秀。9 类标准及权重如下:

  • 结构与解剖(12%):检查 SKILL.md 是否存在、行数是否少于 500 行、frontmatter 是否完整、名称约束、描述格式与风格、是否有多余文件、渐进式披露、资产组织、大文件指引。缺失 SKILL.md 或超过 800 行将自动判定失败。
  • 内容质量(15%):检查简洁性、祈使句形式、适当自由度、范围清晰度、无幻觉风险、输出规范。
  • 用户交互(12%):检查澄清触发条件、必填与选填区分、未回答时的优雅处理、不过度提问、提问节奏、上下文感知。
  • 文档与引用(10%):检查来源 URL、引用文件、获取指引、版本意识、示例覆盖。
  • 领域标准(10%):检查最佳实践、执行机制、反模式、质量门禁。
  • 技术健壮性(8%):检查错误处理、安全考量、依赖项、边界情况、可测试性。
  • 可维护性(8%):检查模块化、更新路径、无硬编码值、组织清晰。
  • 零样本实现(12%):检查“Before Implementation”部分、代码库上下文、对话上下文、内嵌专业知识、仅向用户提问。
  • 可复用性(13%):检查是否处理变体、可变元素、常量模式、非需求特定、抽象层级。

此外,还会针对技能类型进行专属验证:Builder 需具备澄清、输出规范、领域标准、输出清单;Guide 需具备工作流步骤、示例、官方文档链接;Automation 需具备 scripts/ 脚本、依赖项、错误处理、I/O 规范;Analyzer 需具备分析范围、评估标准、输出格式、综合;Validator 需具备质量标准、评分细则、阈值、补救措施。若识别出的类型缺少类型专属要求,扣 10 分。

使用方式

验证工作流分为两个阶段。

阶段一:收集上下文。完整阅读技能的 SKILL.md;从前言描述中识别技能类型(Builder、Guide、Automation、Analyzer、Validator 或 Hybrid);读取 references/ 目录中的所有引用文件;检查是否存在 assets/scripts 目录;记录 frontmatter 字段(name、description、allowed-tools、model)。

阶段二:套用标准。按 9 类标准逐项评估并打分。

评分方式:类别得分 =(该类别各项得分之和)/(该类别最高可能得分)× 100;总分 = Σ(类别得分 × 权重)。评级阈值:90-100 为 Production(可广泛使用),75-89 为 Good(需小幅改进),60-74 为 Adequate(可用但需完善),40-59 为 Developing(存在明显缺口),0-39 为 Incomplete(需大幅返工)。

输出格式为验证报告,包含:评级、总分、摘要、类别得分表(含权重与加权分)、类型专属扣分、关键问题、改进建议(高/中/低优先级)、优势。

该技能还提供快速验证清单,用于快速评估关键项,包括结构与前言、内容与交互、零样本与可复用性、类型专属检查。勾选 10 项以上可能为 Production,7-9 项可能为 Good,5-6 项可能为 Adequate,少于 5 项则需大量工作。

适用场景

  • 验证某个技能是否符合生产级标准。
  • 对技能进行快速审计。
  • 针对特定方面进行聚焦审查,例如检查用户交互模式是否恰当。

限制

该技能明确不做以下事情:不在生产环境中测试技能;不自动修复已识别的问题;不验证技能的运行时行为(仅验证结构与内容);不替代人工对领域准确性的判断。

参考文件

  • references/detailed-criteria.md:用于深入评估特定标准。
  • references/scoring-examples.md:用于校准的示例验证。
  • references/improvement-patterns.md:常见问题的常见修复方法。