SuperAPI AI 工具集

skill-evaluator

智能体与模型

查看项目

更新于 10-16 05:49

技能介绍

用途:Skill Evaluator(WIP)用于审查、评估或审计智能体技能的质量,评估标准依据 Anthropic 官方技能编写最佳实践,产出带评分和可执行建议的结构化评估报告。

主要能力:流程分为三步。第一步自动校验,运行 scripts/validate_skill.py <skill-path>,检查 SKILL.md 是否存在且 YAML frontmatter 有效、名称是否符合规范(小写、连字符、最多 64 字符)、描述是否存在且不超过 1024 字符、正文是否少于 500 行、文件引用是否只有一层深度。第二步人工评估六个维度并按 1—5 分打分:命名(权重 10%)、描述(20%)、内容质量(30%)、结构与组织(25%)、自由度(10%)、反模式检查(5%)。命名规则为最多 64 字符、仅小写字母数字与连字符、不含保留词(anthropic、claude)、不含 XML 标签;描述须说明技能做什么以及何时使用。第三步按模板生成报告,含总分、建议等级、维度得分表、优势、待改进项、发现的反模式、优先级建议和发布前检查清单。

适用场景:当被要求审查、评估、评估或审计一个技能的质量时使用;也可用于技能发布前的自检。

使用方式:先阅读技能的 SKILL.md 理解其用途,运行校验脚本,再对照标准进行人工评估,最后生成评分与建议报告。

限制:该项目标注为 WIP(进行中);评分等级中 4.5—5.0 为优秀可直接发布,4.0—4.4 建议小幅改进,3.0—3.9 需若干改进,2.0—2.9 需大改,1.0—1.9 需重新设计。参考资料与示例见 references/evaluation-criteria.md、references/scoring-rubric.md 及 evaluations/ 目录。关于收费、价格、支持平台等信息暂未提供。