SuperAPI AI 工具集

eval-skills

数据与分析

查看项目

更新于 10-15 21:42

技能介绍

用途:对项目或技能库做审计。先枚举范围内全部技能文件并标注主机、位置与加载规则,再为每个技能判定分发形态(Claude Code 原生、Agent Skills 规范、Codex 或多形态交集,取各形态字段的交集),随后按八项标准评分:identity、context pointer、profile fit、invocation and effort、workflow contract、resource closure、instruction economy、routing evidence。

主要能力:

  • 发现 Claude Code 的个人、项目、嵌套、附加目录、命令文件、插件与企业位置,以及 Codex 的仓库、用户、管理、系统位置;跳过 .trash 与 synced 等保留目录;可用两条 find 命令枚举:find .claude/skills .agents/skills -name SKILL.md -not -path '/.trash/' 2>/dev/null 与 find .claude/commands -name '.md' ! -name 'README' 2>/dev/null。
  • 校验 frontmatter 字段是否属于该形态允许集合,检查 YAML 解析失败,检查 $ARGUMENTS、$N、$name、${CLAUDE_SKILL_DIR} 等占位符用法,核对本地链接、脚本、模板资源是否闭合。
  • 审查调用控制与 effort 是否匹配副作用、描述预算是否溢出、指令是否重复或无效。
  • 生成路由证据:每个主机在全新会话中对照开启与关闭技能各跑一遍提示词,并记录结果;未测主机记 UNKNOWN。

评分与阈值:每技能满分 25;≥80%(20–25)为 Good,60%–79%(15–19)为 Needs work,<60%(14 或以下)为 Fix。显式调用型命令包装可免自动路由证据,按 21 分计。

使用方式:按四步执行——发现、分类与解析、逐项评审、输出带证据的评分结论。Claude Code 可用 claude plugin validate <skills-dir> 检测解析失败,用 claude plugin eval 隔离评估插件技能,官方 skill-creator 插件可生成应触发与不应触发提示词。

限制:Codex 文档未描述参数替换与专用评估命令,相关行为记为 UNKNOWN;不得从样本推断整库质量;不得在可移植技能 frontmatter 中加入主机专属字段;本资料的输出在文中被截断,末尾部分细节暂未提供。