SuperAPI AI 工具集

skill-creator

智能体与模型

查看项目

更新于 10-30 17:18

技能介绍

用途

skill-creator 是一个“用来创建技能的技能”,面向需要为 Claude 类智能体构建可复用技能(skill)的用户。它覆盖技能生命周期的多个环节:从零创建新技能、修改与改进已有技能、以及通过测试和评估衡量技能的实际表现。

主要能力

  • 目标梳理:帮助用户明确技能应让模型做什么、在什么用户措辞或上下文下触发、期望的输出格式,以及是否需要测试用例。对于输出可客观验证的技能(文件转换、数据提取、代码生成、固定工作流步骤),建议配置测试用例;对于主观输出(写作风格、艺术类),则更适合定性评估。
  • 技能撰写:按 SKILL.md 结构组织内容,包括 YAML frontmatter(name、description 必填)、正文指令、可选捆绑资源(scripts/ 可执行脚本、references/ 按需加载的文档、assets/ 输出用模板与字体等)。强调渐进式披露:元数据常驻上下文,正文在触发时加载(建议少于 500 行),资源按需读取。
  • 描述优化:技能描述是主要触发机制,需同时写明“做什么”和“何时使用”,并适当写得“主动”一些,以缓解模型“该用却不用”的问题。流程末尾还可运行单独的技能描述改进脚本优化触发。
  • 测试与评估:设计 2–3 个真实用户会说的测试提示,保存到 evals/evals.json;对每个用例在同一轮中并行启动“有技能”和“基线(无技能或旧版本快照)”两组运行,输出保存到 workspace 按迭代与用例分目录。运行期间起草可客观验证的定量断言,并在运行完成后为每条运行打分(grading.json 的 expectations 使用 text、passed、evidence 字段)。
  • 基准汇总与结果查看:通过 python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name> 生成 benchmark.json 与 benchmark.md,包含通过率、耗时、token 用量及均值±标准差与差值;再用 eval-viewer/generate_review.py 启动评审查看器(或在无显示环境用 --static <output_path> 生成静态 HTML),用户可在 Outputs 标签逐个查看输出并留反馈,在 Benchmark 标签查看量化对比;第 2 轮起可传 --previous-workspace 对比上一轮。
  • 迭代改进:读取 feedback.json,针对用户有具体意见的用例改进技能,必要时结合量化指标暴露的明显缺陷,重复评估循环,最后扩大测试集在更大规模上验证。

使用方式

使用该技能时,先判断用户处于上述流程的哪个阶段,再介入协助推进。例如用户说“我想做一个 X 的技能”,可帮助缩小范围、写草稿、写测试用例、确定评估方式、运行提示并迭代;若用户已有草稿,可直接进入评估与迭代环节。流程顺序是灵活的,若用户表示不需要大量评估、只想边聊边做,也可照此进行。与用户沟通时需注意其技术熟悉度:默认情况下“evaluation”“benchmark”可用,“JSON”“assertion”等术语需先确认用户理解或给出简短解释。

适用场景

适合为智能体开发可复用技能、调试技能触发时机、比较技能版本效果、建立技能回归测试与量化基准等场景。

限制

技能不得包含恶意软件、漏洞利用代码或可能危害系统安全的内容,也不应配合创建误导性技能或用于未授权访问、数据外泄等恶意目的;角色扮演类内容可以接受。定量断言不适用于需要人工判断的主观类技能。测试运行中的 total_tokens 与 duration_ms 仅通过任务通知获得,需及时保存到 timing.json,事后无法找回。具体安装方式与收费信息暂未提供。