用途:skill-creator 帮助用户从零创建新技能、修改和优化已有技能,并通过测试与量化评估来衡量技能表现。
主要能力:创建技能时先明确技能要做什么、如何做,写出草稿,再生成测试提示并让具备该技能的 Claude 运行;随后帮助用户从定性和定量两方面评估结果;在运行期间可起草量化评测;通过 eval-viewer/generate_review.py 展示结果与量化指标;根据反馈重写技能并重复迭代,最后扩大测试集在更大规模上重试。也可对已有草稿直接进入评估迭代环节。技能完成后可运行技能描述改进脚本以优化触发。
使用方式:先确认用户处于流程的哪个阶段再介入协助。撰写 SKILL.md,包含 name、description(触发时机与功能,建议描述适当“主动”以避免欠触发)、compatibility 及正文。技能目录可包含 scripts、references、assets。测试用例保存到 evals/evals.json,评测结果放入 <skill-name>-workspace/ 并按 iteration 与 eval 分目录。聚合基准可运行:python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>。启动查看器:nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 &,迭代 2 及以上可加 --previous-workspace;无显示环境可用 --static 输出独立 HTML。查看器含 Outputs 与 Benchmark 两个标签页,用户提交反馈后读取 feedback.json,完成后可 kill $VIEWER_PID。
适用场景:需要把某工作流固化为技能、优化技能触发、用测试用例和量化基准迭代改进技能的场景。
限制:技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容,也不应创建误导性或便于未授权访问、数据外泄等恶意活动的技能。沟通措辞需根据用户技术背景调整。其余具体细节暂未提供。