SuperAPI AI 工具集

skill-benchmark

测试与质量

查看项目

更新于 10-15 22:13

技能介绍

用途:量化激活的 AI 技能对实现质量的改善幅度,产出按优先级排列的合规增量与技能适用性报告。

主要能力:

  1. 识别技术栈与 AGENTS.md 中激活的技能。
  2. 自动选取一个包含遗留反模式的“陷阱”文件,按严重度排序:P0 为硬编码密钥、UI 组件内写业务逻辑;P1 为错误路由模式、用全局状态处理局部关注点、缺少设计 token;P2 为用户可见字符串未经 i18n。
  3. 以 evals/evals.json 为评分卡来源,而非硬编码模式;为失败模式与成功模式生成列,重构文件时逐项引用对应技能规则。
  4. 输出评分卡与合规分数(前 vs 后)、Δ 增量百分比以及评估对齐度。
  5. 对每个失败项用迭代表定位根因:信号不匹配则细化触发条件,规则过模糊则补充反模式规则,冲突则确保 P0 优先于 P1;并建议 .skillsrc 排除项。

使用方式:当用户要求执行该工作流时按步骤运行。示例命令包括:find src -name ".ts" -o -name ".tsx" | xargs wc -l 2>/dev/null | sort -rn | head -20 以及 cat AGENTS.md | head -80。评分模板引用 <SKILLS>/common/common-skill-creator/references/benchmark.md(需同步)。

适用场景:评估技能库在具体项目中的实际收益,发现技能规则与评估用例之间的偏差,并据此迭代技能定义。

限制:部分步骤依赖已同步的 benchmark.md 与 evals/evals.json,资料未提供这些文件的具体内容;具体评分公式与阈值暂未提供。