SuperAPI AI 工具集

evaluate-plugin-batch

通用与其它

查看项目

更新于 10-15 23:49

技能介绍

用途:批量评估一个插件中的全部技能,对每个技能运行 /evaluate:skill,最后汇总为插件级质量报告。适合在发布前审计插件内所有技能、建立插件质量基线、重构后检查整体质量。若只需评估单个技能,应改用 /evaluate:skill;查看历史结果用 /evaluate:report;需要结构合规检查用 plugin-compliance-check.sh。

主要能力:发现插件内所有技能(<plugin-name>/skills/*/SKILL.md)并计数;按是否存在 evals.json 过滤与准备;逐个调用 /evaluate:skill <plugin-name>/<skill-name> [--create-evals];支持并行批量执行;汇总各技能的 benchmark.json 生成插件级报告;输出按通过率排序的汇总表,并将低于 50% 的技能标记为需关注。

参数:<plugin-name> 必填,为要评估的插件名;--create-missing-evals 默认 false,为缺少评估用例的技能生成用例;--parallel N 默认 1,为最大并发技能评估数。

使用方式:先运行 bash ${CLAUDE_PLUGIN_ROOT}/scripts/inspect_eval.sh --plugin-dir $1 获取插件清单;对每个技能检查 evals.json,有则纳入评估,无且带 --create-missing-evals 则纳入并在评估时创建,无且无该标志则跳过并注明;随后通过 SlashCommand 调用 /evaluate:skill,若 --parallel N 大于 1 则按 N 分组批量执行,否则顺序执行,并用 TodoWrite 跟踪进度;全部完成后运行 bash evaluate-plugin/scripts/aggregate_benchmark.sh <plugin-name>,将聚合结果写入 <plugin-name>/eval-results/plugin-benchmark.json;最后打印插件级汇总表,包含技能、评估数、通过率与状态,并给出总体通过率。

限制:资料未提供具体收费、价格、平台支持范围与效果保证等信息;评估依赖技能已有的评估用例,缺少用例时默认跳过,除非显式使用 --create-missing-evals。