SuperAPI AI 工具集

skill-judge

智能体与模型

查看项目

更新于 10-16 04:38

技能介绍

用途

Skill Judge 用于评估 Agent Skill 的设计质量。它的核心立场是:把 Skill 当作一个可执行的知识包来审查,而不是当作一篇文章。评判的重点在于这个包是否在正确的时机被触发、是否补充了 AI 模型真正需要的知识、是否把请求路由到正确的资源,以及是否帮助智能体产出更好的工作。

适用性说明

该框架是一套带有明确立场的诊断框架,参考了公开规范、示例与实践使用经验,但它并非官方合规套件。不应把其中的数字评分当作对通用质量的断言。

审查深度

Skill Judge 提供四种审查深度:

  • 快速审查:识别阻断性问题、价值最高的弱点以及下一步改动。除非评分有助于决策,否则不评分。
  • 完整审计:检查整个包,对所有维度评分,并给出按优先级排序的建议。评分前需完整阅读 rubric.md。
  • 比较:先独立评估每个 Skill,再比较证据与取舍。当 Skill 服务于不同用例时,不应强行分出胜负。
  • 修订审查:将当前包与上一版本比较,判断改动是否改善了真实行为,而不仅是呈现效果。

阅读完整包

审查时要求:完整阅读 SKILL.md;列出所有随包附带的参考、脚本、资产与 agent 元数据文件;跟随每一条影响行为的资源链接与加载指令;检查被引用的文件是否存在,随包脚本或示例是否合理且经过测试;区分观察到的事实与对 agent 行为的假设。不得仅凭 frontmatter 或首屏内容就给包评分。

硬性门槛

在主观评分之前先报告以下问题:SKILL.md frontmatter 缺失或无效;文件夹名与 name 不匹配;描述含糊,未传达功能与触发上下文;资源路径或路由指令损坏;宣称的能力未在包中实现;不安全脚本或指令缺乏相称的防护措施;相互矛盾的要求导致无法正确执行。一个打磨精良但存在硬性门槛失败的包,仍属于未就绪。

知识价值评估

将实质性章节分为三类:Expert(非显而易见的决策、取舍、失败模式、领域流程或 AI 模型难以可靠提供的本地知识);Activation(AI 模型可能已知,但在恰当时机看到会有帮助的知识);Redundant(通用解释、显而易见的建议或重复内容,消耗上下文却不改变行为)。该分类用于诊断,边界模糊时不应编造精确的段落百分比。审查时追问:加载该 Skill 后 agent 会做得更好吗?哪些内容改变决策而非仅描述领域?哪些指令编码了难以按需重建的经验?哪些章节删掉也不影响结果?

触发质量

description 是主要的激活面,应清楚说明:Skill 做什么;何时使用;哪些具体任务、产物、文件类型、工具或用户措辞应触发它;若存在重叠,何时相邻 Skill 是更好的选择。不应奖励关键词堆砌——触发范围过广的长描述会造成路由冲突,而非可发现性。

包架构

检查包是否有意使用渐进式披露:把核心决策与路由保留在 SKILL.md;把详细变体、schema、示例与领域参考放入随包资源;说明何时加载每个资源、何时不加载;避免随包附带却从不路由的孤立引用;避免每次请求都加载整本手册的超大 SKILL.md;避免碎片化到为一个简单任务必须打开许多小文件。目标是保留正确行为所需的最小上下文,而非固定行数。

行为质量

关注:存在多条路径时是否有明确决策标准;自由度是否与任务风险与可变性相称;是否给出具体反模式及其原因,而非模糊警告;失败处理、回退路径与现实的边界情况;脚本与示例按描述工作的证据;防止 Skill 与无关或更具体的 Skill 竞争的边界;指令在目标环境中是否仍然实用。

评分

完整审计使用 rubric.md 中的 120 分评分表。每个维度需:引用具体包证据;说明行为后果;按公布的锚点打分;说明什么会实质性提高分数。不得因篇幅、打磨程度、自信措辞或随包文件数量而给分。

发现优先级

使用四个严重级别:Blocker(阻碍可靠激活、执行、安全或安装);High(实质性降低常见结果或造成误导行为);Medium(造成可避免的摩擦、上下文浪费或覆盖不完整);Low(值得改进但行为影响有限)。按对真实使用的预期改善排序,而非按编辑难易度排序。

输出格式

先给出结论,格式为:Skill Review: [name];Verdict(Ready / usable with changes / not ready,加一句话说明原因);Applicability(判断所假设的上下文以及未确立的内容);Findings(编号列出 [Severity] [Issue],含 Evidence、Effect、Change);Score(仅完整审计时包含:维度表、总分与等级);Highest-value next changes(列出前三项改动);What is already strong(仅保留有证据支撑、值得保留的优点)。表扬要简短,弱点要具体到另一个 agent 无需重建审计即可实施改进。

不良审查模式

包括:因包看起来专业就给高分;把每个长流程都当作专家知识;把实践衍生的评分表称为官方标准;不考虑激活价值就惩罚所有重复;在没有加载策略的情况下建议增加文件;在分离能保护上下文时建议减少文件;把风格偏好报告为行为缺陷;把围栏代码块内的示例链接当作失效的实时链接来评估;忽视宣称能力与实现能力之间的不匹配。

最终问题

审查结束前需回答:这个包是否在 agent 需要的那一刻可靠地传递了有用的判断或操作知识?如果答案不明确,审查就尚未完成。