SuperAPI AI 工具集

skill-evals

测试与质量

查看项目

更新于 10-15 20:08

技能介绍

用途:用 PluginEval 评估本仓库中的技能,并在每个技能自己的目录下生成 Markdown 格式的 EVALS.md 报告。PluginEval 通过 uvx 从 wshobson/agents 按需拉取,不在仓库内 vendored。

主要能力:每个技能派发一个子智能体并行工作,使报告并行产出,并把子智能体冗长的 uvx/LLM 输出隔离在主上下文之外。上游文档随附本地,无需联网即可查阅:references/plugin-eval.md(评估框架的命令、深度、层、维度、徽章)、references/agent-skills-how-skills-work.md(好技能的标准,如渐进披露、触发、规范规则)、references/fix-playbook.md(把弱维度转化为具体的 SKILL.md 修改,供 --fix 使用)。

参数:--review 为默认,按标准深度(静态 + LLM 评审)打分并写 EVALS.md,不修改技能;--fix 在 review 后改进最弱技能的 SKILL.md(仅工作区未提交),并重跑确认提升;--certify 运行完整端到端认证(deep、全部三层、徽章),较慢;可显式传入一个或多个技能目录路径,省略时通过与 main 做 diff 自动检测目标。--fix 与 --certify 可组合:先 certify,再基于认证报告做 fix。

使用方式:确保语料库存在(仅缺失时运行一次):test -d ~/.plugineval/corpus || ./scripts/eval-skills.py --command init plugins/ --corpus-dir ~/.plugineval/corpus。解析目标技能,若未传路径则用 git diff --name-only main...HEAD 定位变更文件对应的技能目录并去重,运行前向用户回显解析出的列表。随后在单条消息中并行派发子智能体,每个子智能体只处理一个技能:review 模式运行 make eval-skill SKILL=<path>,certify 模式运行 make eval-certify SKILL=<path>。子智能体捕获 stdout、剥离开头的 make 回显与 uvx 下载/构建/安装噪音,保留从 # PluginEval Report 起的内容,写入 <path>/EVALS.md,review/certify 模式下不修改技能本身,回传综合得分、徽章和反模式。最后以表格汇总技能、综合得分、徽章、反模式数和最低分维度,并确认 EVALS.md 已写出。--fix 时按最低分优先,读取 EVALS.md 找出弱维度与反模式,参照 fix-playbook.md 并对照 how-skills-work 文档做针对性修改(必要时新增 references/ 文件),只改工作区不提交;重跑该技能 eval、覆盖 EVALS.md 并记录前后得分差值,改动保持未提交供用户审查。该工具始终通过按技能的 make eval-skill(标准深度)和 make eval-certify(深度)逐个评估,从不使用仓库级 make eval。

示例:/skill-evals;/skill-evals --fix;/skill-evals --certify .claude/skills/doc-generator;/skill-evals .claude/skills/doc-generator .claude/skills/twitter-media-downloader。

限制与成本:--review 约每技能 4 次 LLM 调用、约 30 秒(经 Claude Code Max / claude-agent-sdk);--certify 约每技能 54 次 LLM 调用、约 15–20 分钟,认证超过一两个技能前需与用户确认。EVALS.md 为有意不追踪的输出,每次运行重新生成。所有命令均在仓库根目录运行。