用途:面向 agentskills.io 技能,编排完整评测生命周期,通过“有技能”与“无技能”对比运行,评估技能对模型表现的影响。
主要能力:编写 3–5 个测试用例,覆盖常规、边界与畸形输入,写入 <target-skill>/evals/evals.json 并校验;搭建工作区并生成 with_skill 与 without_skill 输出目录;并行派生子代理执行两类运行并记录耗时;对输出执行确定性断言与子代理评分;聚合通过率、token 数与耗时,生成 benchmark.json;分类断言并产出改进建议提示词。
使用方式:向代理下达“eval my-new-skill”类指令即可。关键命令:scripts/scaffold-workspace.sh <workspace-dir> <iteration-N> <evals-json>,scripts/grade-assertions.sh <output-dir> <assertions-file>,scripts/aggregate-benchmark.sh <workspace>/iteration-N。报告写入 <target-skill>/<skill-name>-iteration-N-eval-report.html,包含机器可解析的 JSON 摘要;iteration 须为 iteration-N 形式字符串。
适用场景:技能上线前质量把关、迭代对比、回归检测、盲评对比与成熟度评分。
限制:依赖 agentskills.io 规范与配套参考文件;完整参考文件与模板未在资料中展开;定价、平台支持等暂未提供。