SuperAPI AI 工具集

skill-creator

智能体与模型

查看项目

更新于 10-15 15:40

技能介绍

用途

Skill Creator 是一个用于创建新技能、迭代改进现有技能并衡量技能表现的技能。当用户想为 Claude Code 或 Cursor 从零创建一个技能,或希望修改、优化已有技能时使用。

使用该技能时,需要先判断用户处于创建流程的哪个阶段,然后介入帮助其推进。例如用户说“我想为 X 做一个技能”,可以协助明确需求、撰写草稿、编写测试用例、确定评估方式、运行提示词并重复迭代;如果用户已有技能草稿,则可直接进入评估与迭代环节。流程顺序是灵活的,如果用户表示不需要大量评估,也可以按其意愿进行。技能完成后,还可以运行技能描述优化脚本,以优化技能的触发效果。

主要能力

  • 创建新技能:从理解用户意图开始,明确技能应让 AI 智能体做什么、何时触发、预期输出格式、是否需要测试用例、面向哪个工具(Claude Code、Cursor 或两者)。
  • 撰写 SKILL.md:包含 name、description、compatibility 等组件。description 是主要触发机制,需同时说明技能做什么以及何时使用,并建议写得稍微“主动”一些,以对抗 AI 智能体倾向于“触发不足”的问题。
  • 技能结构组织:技能目录包含必需的 SKILL.md(YAML frontmatter 加 Markdown 指令)以及可选的捆绑资源,包括 scripts/(确定性或重复任务的代码)、references/(按需加载的文档)、assets/(输出中使用的模板、图标、字体)。
  • 渐进式披露:采用三级加载系统——元数据(name 加 description,始终在上下文中,约 100 词)、SKILL.md 正文(技能触发时进入上下文,理想少于 500 行)、捆绑资源(按需加载,不限量,脚本可不加载直接执行)。
  • 测试与评估:编写 2-3 个真实测试提示词,保存到 evals/evals.json;为每个测试用例同时运行带技能和不带技能(或旧版本技能)的对比;在运行期间起草定量断言;捕获 timing 数据(total_tokens、duration_ms);使用 agents/grader.md 进行评分;用聚合脚本生成 benchmark.json 和 benchmark.md;用 eval-viewer/generate_review.py 展示结果。
  • 迭代改进:根据用户对结果的评估反馈以及定量基准中暴露的明显缺陷重写技能,重复直到满意,然后扩大测试集规模再次尝试。

使用方式

创建技能的基本流程:决定技能要做什么以及大致怎么做;撰写技能草稿;创建几个测试提示词并让智能体在可访问该技能的情况下运行;帮助用户从定性和定量两方面评估结果;在后台运行期间起草定量评估并向用户解释;使用 eval-viewer/generate_review.py 脚本展示结果和定量指标;根据反馈重写技能;重复直到满意;扩大测试集并再次尝试。

目标平台方面,SKILL.md 格式对 Claude Code 和 Cursor 完全相同,使用相同的 YAML frontmatter 和目录结构。关键差异:Claude Code 从 .claude/skills/ 发现技能;Cursor 从 .cursor/skills/、.agents/skills/、~/.cursor/skills/ 和 .claude/skills/(旧版)发现技能;跨平台可将技能放在 .agents/skills/ 以便两个工具都能发现;Cursor 专有字段 disable-model-invocation: true 可使技能仅通过 /skill-name 调用而不自动触发。为两个平台创建技能时,应避免在技能正文中引用工具特有功能。

运行与评估测试用例时,结果放在与技能目录同级的 <skill-name>-workspace/ 中,按迭代(iteration-1/、iteration-2/ 等)组织,每个测试用例一个目录(eval-0/、eval-1/ 等)。在 Claude Code(有子智能体)中,同一轮内生成所有运行;在 Cursor(无子智能体)中顺序运行测试用例。每个测试用例需写 eval_metadata.json。运行完成后用 grader 子智能体评分,结果保存到 grading.json,其 expectations 数组必须使用 text、passed、evidence 字段。聚合脚本命令为:python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>。查看器启动命令为:nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 &。无头环境可使用 --static <output_path> 写出独立 HTML 文件。

适用场景

适用于需要为 Claude Code 或 Cursor 创建新技能、改进已有技能、衡量技能表现的用户。技能输出可客观验证时(文件转换、数据提取、代码生成、固定工作流步骤)适合设置测试用例;输出主观时(写作风格、艺术)通常不需要。

限制

技能不得包含恶意软件、漏洞利用代码或任何可能危害系统安全的内容,不应创建误导性技能或用于未授权访问、数据外泄等恶意活动的技能。沟通时需注意用户对编程术语的熟悉程度,根据上下文线索调整措辞。