SuperAPI AI 工具集

skill-engine-audit

测试与质量

查看项目

更新于 10-16 06:37

技能介绍

Skill Engine Audit 是一个用于审计整套技能引擎(skills engine)的技能,由 Peter Bamuhigire 分享。它针对的是由路由式 SKILL.md 文件组成的仓库,例如 design-system-skills、chwezi-accounting-doctrine、srs-skills、business-plan-skills 等,而不是单个技能。

用途

当被要求对一整套技能引擎或技能目录进行审计、评分、基准对标、排名或查找缺口时使用本技能。它适用于判断一个引擎是否达到“世界级”,以及需要补充或加固哪些内容才能达到该水平;也适用于产出一份全面、有排名、基于证据的引擎质量与覆盖度报告。

不适用场景

审计单个技能是否存在不安全或恶意指令时,应使用 skill-safety-audit。审计产出的制品(网站、应用、文档)是否存在 AI slop 时,应使用设计引擎的 ai-slop-typography-audit 或 visual-product-slop-audit。编写或路由新技能时,应使用 skill-writing 或 skill-taxonomy-and-routing。

所需输入

需要提供引擎的路径,以及它的用途(所属领域和它必须产出的输出类型,例如网站、iOS/Android/Web 应用、跨平台应用、文档、提案、演示文稿、品牌系统、数据产品)。输出类型清单将驱动就绪度审计。还需要提供用于评分的标杆(默认:世界级 / 相关领域前 0.1%)。

工作流

  1. 界定范围:读取引擎的路由文件(README.md / CLAUDE.md / AGENTS.md)及其 doctrine;用 glob 匹配 skills/**/SKILL.md 列出每个技能组和技能;识别引擎负责的输出类型,并审计全部适用类型(Web、iOS、Android、Web 应用、跨平台、网站、文档、演示文稿、品牌、数据产品、交接等)。

  2. 锁定评分标准:使用 references/scoring-rubric.md。标杆为领域前 0.1%。默认分数为 45–65;任何 70 分以上都需要非凡且具体的理由。如果倾向于给 70 分以上,说明不够严格,应找出缺失之处。每个分数都必须以具体缺陷为依据,而非凭感觉。

  3. 并行派出审计代理(见 references/parallel-agent-method.md),每个关注点一个代理,使严格分数在综合前独立产生。标准代理组包括:(a) 标准基准——该领域当前世界级水平是什么样,通过研究引擎在无幻觉规则下引用;(b) 现有技能审计——阅读每个 SKILL.md,为每个技能和技能组打分;(c) 分类与缺口分析——结构是否充分、详尽、平衡,缺少什么;(d) 各输出类型就绪度——为引擎必须产出的每种输出类型打分;(e) 加固计划——需要添加的具体 references/* 和 examples/*;(f) 阅读/来源清单——需要购买和提取的材料,并附引用。

  4. 使用 references/audit-dimensions.md 中的维度清单为每个方面排名(分类、doctrine、技能深度、示例、标准时效性、输出覆盖、可访问性、生产/交接、冗余/卫生、发现/路由、安全),每项满分 100。

  5. 综合出连接性结论:执行摘要、方法论、总评分卡(每个维度 + 技能组 + 输出类型 + 引擎总分 /100),以及分阶段路线图。

  6. 按 references/report-structure.md 将报告写为 docs/initial-analysis/(或指定的审计文件夹)下的多文件集合。每个关注点一个文件,并有一个 README 索引。

  7. 使其可执行:路线图必须列出具体的新技能(带 P0/P1/P2 优先级)、加固动作(指名文件),以及每个阶段后的目标分数。

质量标准

严格且基于证据:每个分数都引用具体、指名的缺陷。全面:引擎涉及的所有输出类型都被评分,无一遗漏。外部引用处:标准、基准、阅读材料在无幻觉规则下验证。可执行:以优先级路线图和每个阶段可信的目标分数结尾。可复现:评分标准和维度是固定引用,因此重新审计具有可比性。

反模式

凭感觉评分,或虚高分数(70 分以上没有非凡理由)。只审计已存在的技能而忽略缺失内容(覆盖缺口)。跳过输出类型(“我们只检查了 Web”)——应审计引擎所针对的每个方面。用单一整体意见代替独立的并行关注点加综合。报告只有分数没有路线图,或路线图没有目标数字。

输出

docs/<audit>/ 文件夹:执行摘要、方法论与评分标准、各技能组审计、分类与缺口分析、各输出类型就绪度、标准基准、加固计划、阅读清单、总评分卡(引擎总分 /100),以及达到标杆的分阶段路线图。

参考文件

references/scoring-rubric.md——严格标杆与分数区间。references/audit-dimensions.md——需要排名的每个方面及输出类型清单。references/parallel-agent-method.md——审计代理组及其简报方式。references/report-structure.md——多文件报告模板。

相关技能:skill-safety-audit、skill-writing、skill-taxonomy-and-routing、ai-slop-audit。