用途:skill-creator 帮助用户从零创建新技能、修改和改进已有技能,并衡量技能表现。适用于用户想要新建技能、编辑或优化技能,以及为其准备测试与评估的场景。
主要能力与流程:
- 明确技能的用途与大致实现方式,撰写技能草稿。
- 编写测试提示词,用带技能的 Claude 运行并评估结果,支持定性评价与定量基准。
- 在运行期间草拟量化断言,并向用户解释评估内容;使用 eval-viewer/generate_review.py 展示结果与量化指标。
- 根据反馈重写技能,重复迭代,并在更大规模上扩大测试集。
- 完成后可运行技能描述改进脚本,优化技能的触发机制。
技能结构:采用 skill-name/SKILL.md(必填,含 name/description 的 YAML frontmatter 与 Markdown 指令)以及可选 Bundled Resources:scripts/(可执行脚本)、references/(按需加载的文档)、assets/(输出用模板、图标、字体)。采用三级渐进式加载:元数据始终在上下文,SKILL.md 正文在触发时加载(建议 500 行以内),其余资源按需加载。
测试与评估:测试用例保存到 evals/evals.json;运行结果放入 <skill-name>-workspace/,按 iteration 与 eval 分目录。每个用例同时运行 with-skill 与 baseline。聚合命令为:python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>。查看器命令为:nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json。无显示环境可用 --static <output_path>。
限制与注意:技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容,不应创建误导性或用于未授权访问、数据外泄的技能。description 是主要触发机制,“何时使用”应写入 description。缺失信息暂未提供。