SuperAPI AI 工具集

evaluate-skill

测试与质量

查看项目

更新于 10-15 23:49

技能介绍

用途:评估某个技能(skill)的有效性。它运行行为测试用例,并按断言对结果评分,用于判断技能是否产生正确指导、在合并前验证技能改进、与基线做基准对比,或为新技能创建评估用例。

主要能力:解析 plugin-name/skill-name 路径并读取 SKILL.md;先运行结构预检查(bash scripts/plugin-compliance-check.sh <plugin-name>),结构不合格则停止;加载或生成 evals.json 评估用例(含正常路径、边界、极限场景,字段有 id、description、prompt、expectations、tags);按 --runs N 重复运行,通过 Task 子代理执行评估提示并记录 transcript.md 与 timing.json;用 --baseline 在不加载技能内容的情况下并行运行以形成对照;由 eval-grader 代理评分生成 grading.json;最后汇总平均通过率、标准差、平均耗时及基线差值,写入 eval-results/benchmark.json 并打印汇总表。

使用方式:以 /evaluate:skill 调用,参数为 <plugin/skill-name>(必填),可选 --create-evals、--runs N(默认 1)、--baseline。辅助命令包括 inspect_eval.sh、prepare_run.sh、aggregate_benchmark.sh。

适用场景:技能开发与维护中的回归验证、改进前后对比、基准测试。

限制:需要技能具备可解析的 SKILL.md 与结构合规;无 evals.json 且未加 --create-evals 时无法评估;评分依赖 eval-grader 代理与断言质量;资料未提供具体收费、平台支持范围与效果保证。