SuperAPI AI 工具集

skill-evaluator

编程与开发

查看项目

更新于 10-16 05:51

技能介绍

用途:Skill Evaluator 用于检验一个 Agent Skill 是否正确、可被发现且有价值,而不仅是单元测试是否通过。评估工具与具体代理无关,可驱动用户所用的任意编码代理 CLI,因为 Agent Skills 在各 CLI 间可移植。

主要能力分三层,成本与保真度递增:

  1. 确定性层:脚本是否输出文档所述数值,运行 scripts/run_script_checks.py,无需 CLI。
  2. 触发层:描述能否在正确提示下激活,运行 scripts/run_trigger_eval.py,需要 CLI。
  3. 质量层:遵循 SKILL.md 是否优于不使用技能,运行 scripts/run_quality_eval.py,再评分并用 aggregate_benchmark.py 汇总,需要 CLI。

使用方式:先询问用户所用编码代理并映射到适配器 id,支持 claude-code、openai-codex、antigravity、cursor-cli、github-copilot-cli、amp、opencode、grok-cli 等;可用 python scripts/agent_adapters.py list 查看。建议先用 --dry-run 查看确切命令。确定性检查示例:python scripts/run_script_checks.py --skill <path-to-skill> --json 失败时退出非零,适合 CI。触发评估建议对约二十条标注查询集(一半应触发、一半近似但不该触发)运行,并按查询至少运行三次。质量评估会分别运行含技能与不含技能的基线,隔离干净目录,产出 outputs/、response.txt、timing.json,随后按断言评分生成 grading.json,再聚合出 delta.pass_rate 作为技能价值指标。可用 eval-viewer/generate_review.py 生成独立 HTML 审阅页。

限制:第二三层需要安装并认证受支持的 CLI;触发检测是跨工具启发式;token 统计为尽力而为;较新的 CLI 需用厂商 --help 与 --dry-run 核验标志。触发与质量层会传入各 CLI 的自动批准标志,代理防护降低,仅应在可信环境或沙箱中评估。认证从环境变量读取,未知 --agent 值会被拒绝。缺失事实:具体价格、收费模式官方资料未提供。