SuperAPI AI 工具集

skill-judge

智能体与模型

查看项目

更新于 10-16 09:05

技能介绍

Skill Judge 是一个面向 Agent Skills 的评估工具,依照官方规范与最佳实践,通过 8 维度评分框架对技能进行打分(总分 120 分),并输出结构化评估报告。

用途与评估场景

根据资料中的决策树,Skill Judge 依据评估上下文选择评估重点:快速审查(5-10 分钟)侧重描述与知识增量,用于初步筛选与分类;完整审计(20-30 分钟)覆盖全部 8 个维度,用于综合质量评估;合规性检查(5 分钟)聚焦 Frontmatter 与描述,仅做格式验证;改进指导(30 分钟以上)覆盖全部维度并提供详细反馈,用于技能优化。

工作流程

工作流分为五步。第一步:加载评估框架,资料明确要求必须从头到尾完整阅读 evaluation-guide.md,且阅读时不得设置任何范围限制。第二步:快速扫描(5 分钟),完整阅读 SKILL.md,识别技能类型(Mindset 约 50 行、Navigation 约 30 行、Philosophy 约 150 行、Process 约 200 行、Tool 约 300 行)、行数是否与类型匹配、描述质量是否包含 WHAT、WHEN 与关键词,以及知识增量中是否存在明显“讲解基础”的章节。第三步:维度评估(15-20 分钟),按以下优先顺序逐项评估:D4 规范合规(描述)15 分;D1 知识增量 20 分;D7 模式识别 10 分;D5 渐进式披露 15 分;D2 思维模式与流程 15 分;D3 反模式质量 15 分;D6 自由度校准 15 分;D8 实用可用性 15 分。第四步:分数计算,汇总各维度得分(上限 120 分),计算百分比并评定等级:96-120 为 A(优秀,可投入生产)、84-95 为 B(良好,需少量改进)、72-83 为 C(可接受,需适度改进)、60-71 为 D(较差,需大量改进)、低于 60 为 F(不合格,需重大重设计)。第五步:生成报告,资料同样要求必须完整阅读 scoring-guide.md 后再生成报告。

报告输出格式

报告包含:概述(技能名、类型、总分与百分比、等级);维度得分表(D1-D8 各维度得分、满分与简要说明);必须修复的关键问题;应当修复的改进建议;应当保留的优势。

各维度评分要点

知识增量(D1)的红旗信号包括“什么是 XX”等基础概念章节、标准操作的逐步教程、讲解常用库用法、泛泛的最佳实践(如“写整洁代码”)以及行业标准术语的定义;绿灯信号包括非显而易见选择的决策树、只有专家了解的权衡、来自真实经验的边缘案例、“绝不要做 X,因为某个非显而易见的原因”以及领域特定的思维框架。反模式质量(D3)评分区间为:0-3 分未提及反模式;4-7 分泛泛警告(如“避免错误”);8-11 分具体的 NEVER 清单并附部分理由;12-15 分专家级反模式并说明原因。描述质量(D4)必须回答 WHAT(功能)、WHEN(触发场景)、KEYWORDS(可搜索词)。模式识别(D7)对应类型与适用场景:Mindset 约 50 行用于需要品味的创意任务;Navigation 约 30 行用于多个不同子场景;Philosophy 约 150 行用于需要原创性的艺术创作;Process 约 200 行用于复杂多步项目;Tool 约 300 行用于特定格式的精确操作。自由度校准(D6):高自由度用于创意/设计任务;中自由度用于代码审查等基于判断的任务;低自由度用于文件格式操作(docx、pdf、xlsx)。

评估时的禁止事项

评分错误方面:绝不因“专业排版”本身给高分,内容最重要;绝不忽略 token 浪费,每个冗余段落都应扣分;绝不被篇幅打动,43 行的技能可能胜过 500 行的技能;绝不假设所有流程都有价值,要区分领域特定与通用内容。评估错误方面:绝不跳过对决策树的脑内测试;绝不以“提供了有帮助的背景”为由原谅基础讲解;绝不忽视缺失的反模式(没有 NEVER 清单即显著缺口);绝不低估描述字段(描述差等于技能永远不会被使用)。报告错误方面:绝不给出“提升质量”这类模糊反馈;绝不在不解释原因的情况下建议修改;绝不提供没有可操作改进建议的分数。

适用场景与限制

该工具适用于审查 SKILL.md 文件质量、审计技能、检查格式规范与优化技能。资料未提供关于收费、价格、平台支持范围或实际使用效果的信息。具体安装方式与运行环境在资料中暂未提供。