用途:Skill Creator 用于从零创建技能,或迭代改进、优化已有技能,并衡量技能效果。它帮助用户走完“确定意图—撰写草稿—测试—评估—改写—扩大测试”的流程,也可在已有草稿时直接进入评测迭代。
主要能力:捕获意图(技能应让 Claude 做什么、何时触发、输出格式);访谈并研究边界情况与依赖;撰写 SKILL.md(name、description、compatibility 等),其中 description 承担主要触发作用;设计 2-3 个真实测试提示并保存到 evals/evals.json;并行启动带技能与基线运行,草拟可验证的断言;汇总通过率、耗时与 token 的 benchmark;用 eval-viewer/generate_review.py 展示定性输出与量化数据;根据反馈改写技能;并可运行技能描述改进脚本优化触发。
使用方式:先与用户确认流程阶段,再推进。运行时将结果放在技能目录同级的 <skill-name>-workspace/,按 iteration-1/、iteration-2/ 和 eval-0/ 等组织;聚合 benchmark 使用 python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>;查看器使用 nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json;无显示环境可用 --static <output_path>。反馈存为 feedback.json,结束后 kill $VIEWER_PID。
适用场景:需要沉淀可复用工作流、把对话过程转成技能、或系统评测技能触发与效果时。主观输出(写作、设计)适合定性评估,客观输出适合断言与量化。
限制:技能不得包含恶意代码或危害安全的内容;描述应避免让用户意外;沟通需根据用户技术水平调整措辞;测试与数据文件需按 schema 保存;具体收费、价格、平台支持等信息暂未提供。