SuperAPI AI 工具集

skill_evaluator

智能体与模型

查看项目

更新于 10-16 04:38

技能介绍

用途

Skill Evaluator 用于依据 Anthropic 官方智能体技能编写最佳实践,对技能(skill)进行质量评估。当被要求审查、评估、审计某个技能的质量时使用。它会分析技能的 SKILL.md 等文件,产出带评分和可操作建议的结构化评估报告。该工具标注为 WIP(开发中)。

主要能力

评估流程分为三步:

  1. 自动化校验:运行脚本 scripts/validate_skill.py <skill-path>,检查 SKILL.md 是否存在且 YAML frontmatter 有效、名称是否符合规范(小写、连字符、最多 64 字符)、描述是否存在且不超过 1024 字符、正文是否少于 500 行、文件引用是否只有一层深度。
  2. 手动评估:对以下维度按 1-5 分打分:
    • 命名(权重 10%):是否采用动名词形式、目的清晰、易记;规则包括最多 64 字符、仅小写字母数字和连字符、不得使用保留词(anthropic、claude)、不得含 XML 标签。
    • 描述(权重 20%):是否清晰说明功能并包含具体激活触发条件、使用第三人称。
    • 内容质量(权重 30%):是否简洁、假定 Claude 的智能、指令可操作。
    • 结构与组织(权重 25%):是否具备良好的渐进式披露、清晰导航、长度最优;检查 SKILL.md 是否少于 500 行、引用是否只有一层、长引用文件(>100 行)是否有目录、路径是否使用正斜杠。
    • 自由度(权重 10%):自由度是否与任务类型匹配(灵活任务高自由度、脆弱操作低自由度)。
    • 反模式检查(权重 5%):发现反模式则扣分,包括:过多选项无明确推荐(-1)、含日期条件的时间敏感信息(-1)、术语不一致(-1)、Windows 风格路径反斜杠(-1)、深层嵌套引用超过一层(-2)、脚本将错误处理推给 Claude(-1)、无理由的魔法数字(-1)。
  3. 生成报告:使用指定模板输出,包含摘要(总分、建议)、维度得分表、优点、改进领域、发现的反模式、建议及发布前检查表。

评分解释:4.5-5.0 优秀,可发布;4.0-4.4 良好,建议小幅改进;3.0-3.9 可接受,需若干改进;2.0-2.9 需大量修改;1.0-1.9 差,需根本性重新设计。

使用方式

先阅读技能的 SKILL.md 并理解其目的,然后运行自动化校验脚本,再进行手动评估,最后生成评估报告。报告模板包含总分、各维度加权得分、优点、改进建议、反模式清单和发布前检查表。

适用场景

适用于技能作者或审查者需要评估、审计技能质量,并希望获得结构化评分与改进建议的场景。

限制

该工具标注为 WIP(开发中)。资料未提供其收费、价格、平台支持范围、实际效果或具体安装步骤等信息。