用途:用于创建新技能、修改和改进已有技能,并衡量技能表现。适合用户想从零创建技能、更新或优化已有技能,或需要评估技能效果时使用。
主要能力:引导用户明确技能目标与触发场景;撰写 SKILL.md;生成测试提示与测试用例;运行带技能与基线对比;生成定性输出查看页面与量化基准;根据反馈迭代重写技能;可运行技能描述改进脚本优化触发;重复迭代并扩大测试规模。
使用方式:创建技能时,先捕获意图(技能要做什么、何时触发、期望输出格式、是否需要测试用例),再访谈与研究,随后编写 SKILL.md。测试用例保存到 evals/evals.json。运行与评测时,将结果放入 <skill-name>-workspace/,按 iteration-1/、iteration-2/ 组织,每个测试用例目录如 eval-0/。同一轮为每个测试用例同时启动带技能与基线子代理,并保存 eval_metadata.json、timing.json、grading.json。聚合命令为 python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>。查看结果用:nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 &。结束查看后 kill $VIEWER_PID 2>/dev/null。
适用场景:创建或优化智能体技能、需要量化评测技能效果、需要对比带技能与基线差异时。
限制:技能不得包含恶意软件、漏洞利用或危害系统安全的内容;评测依赖用户反馈与运行环境;无显示环境可用 --static 生成独立 HTML;部分流程要求特定脚本与目录结构;资料未提供具体价格、收费、支持平台与完整安装命令等信息。