SuperAPI AI 工具集

umbraco-skill-evaluator

智能体与模型

查看项目

更新于 10-16 06:43

技能介绍

用途:对已存在的 Claude 技能做测试、基准、验证与回归检查。它假定技能已经写好,只保留评估相关环节,比完整的 skill-creator 更省 token。若需编写新技能,应改用 skill-creator。

主要能力: · 有技能 vs 无技能(或 vs 上一版本)的并行运行对比 · 由 Haiku 驱动的评分子代理 · 用于定性审核的 HTML 查看器 · aggregate_benchmark.py 生成量化汇总 · 迭代循环(iteration-2/、iteration-3/ 等)

使用流程:确认技能与评估集(初始最多 3 条提示词)→ 同一轮并行启动有技能与基线运行 → 运行期间草拟断言 → 收到通知时记录 timing.json → 用 Haiku 子代理评分 → 聚合生成 benchmark.json 并启动查看器 → 读取 feedback.json → 改进技能后重跑。

评估提示词须为复杂多步任务,至少 3-4 个步骤,包含技能特有的专门知识或工具,并至少设一个基线易落入的陷阱;避免基线一次工具调用即可解决的简单提示。每个评估写 4-7 条可客观验证的断言,主观质量放到定性审核。

关键命令: python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <skill-name>

nohup python <skill-evaluator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "<skill-name>" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 &

清理:python scripts/cleanup_workspace.py <skill-name>-workspace;删除需加 --yes --final-review-complete,可加 --clean-python-caches。

限制:不包含技能起草指导、盲比较/分析代理、描述优化与完整 schema 参考;盲比较不支持。描述优化只在第 2 轮或最后一轮提示,本身不运行。无显示环境可用 --static 输出独立 HTML。评估工作区属草稿数据,不应进入发布内容。