用途:Skill Creator 是一个用于创建新技能并迭代改进它们的技能。它帮助用户从零起草技能、编写测试用例、运行评估、查看结果并反复优化。
主要能力:
- 捕获意图:理解用户想让技能做什么、何时触发、期望输出格式,并判断是否需要测试用例。
- 访谈与研究:主动询问边界情况、输入输出格式、示例文件、成功标准和依赖;可检查可用 MCP 进行研究。
- 编写 SKILL.md:填写 name、description(触发机制,建议写得“主动”一些以对抗欠触发)、compatibility 等。
- 技能结构:SKILL.md 必需,可附带 scripts/、references/、assets/;采用三级渐进披露:元数据、SKILL.md 正文(建议 500 行内)、按需加载的捆绑资源。
- 测试与评估:编写 2-3 个真实测试提示,保存到 evals/evals.json;同时运行带技能与基线(无技能或旧版本)的子代理;在运行期间起草断言;捕获 timing.json 中的 total_tokens 与 duration_ms;用 grader 评分并聚合为 benchmark.json/benchmark.md。
- 查看结果:使用 eval-viewer/generate_review.py 启动查看器,展示定性输出与定量指标;无显示环境可用 --static 生成独立 HTML。
- 迭代改进:读取 feedback.json,针对用户具体反馈重写技能,重复直到满意,再扩大测试集。
- 描述优化:完成后可运行技能描述改进脚本以优化触发。
使用方式:用户可处于流程任意阶段,技能会判断其位置并协助推进。若已有草稿,可直接进入评估/迭代环节;若用户只想“随便聊聊”,也可灵活跳过大量评估。
限制与注意:技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容,不应让用户对其意图感到意外;不协助创建误导性技能或用于未授权访问、数据外泄等恶意活动。角色扮演类技能可以接受。沟通时需根据用户对技术术语的熟悉程度调整措辞。