SuperAPI AI 工具集

skill-creator

智能体与模型

查看项目

更新于 10-27 09:37

技能介绍

用途

skill-creator 用于创建新的 AI 技能(skill)并迭代改进它们。它覆盖技能开发的完整闭环:明确需求、撰写草稿、设计测试用例、定量与定性评估、根据反馈重写、扩大测试规模,以及最后优化技能描述以改善触发效果。它也能用于改进已有技能草稿,直接进入评估与迭代环节。

主要能力

  • 梳理意图:确认技能应让模型做什么、何时触发、期望输出格式,以及是否需要测试用例。
  • 编写 SKILL.md:包含 name(技能标识)、description(触发条件与功能说明,是主要触发机制)、compatibility(可选依赖)及正文说明;正文建议控制在 500 行以内,并按需引用 scripts/、references/、assets/ 等资源。
  • 测试用例:生成 2-3 个真实场景测试提示,保存到 evals/evals.json。
  • 对照运行:每个用例同时启动带技能与不带技能(或旧版本快照)两个子代理,输出分别保存到 with_skill/ 与 without_skill/(或 old_skill/)。
  • 定量断言与评分:编写可客观验证的断言,由评分代理按 agents/grader.md 评估,结果写入 grading.json(字段为 text、passed、evidence)。
  • 基准汇总:运行 python -m scripts.aggregate_benchmark 生成 benchmark.json 与 benchmark.md,包含通过率、耗时与 token 消耗,并做分析以发现非区分性断言或高方差用例。
  • 结果查看:使用 eval-viewer/generate_review.py 启动查看器;无显示环境可用 --static 输出独立 HTML,反馈以 feedback.json 回传。
  • 描述优化:技能完成后可运行专门的描述改进脚本,提升触发准确率(该技能提到模型有“触发不足”的倾向,描述可写得稍“主动”一些)。

使用方式

在 Cherry Studio 中,技能存放在受管理的注册表中,并与文件系统自动同步,无需安装或注册工具,也无需执行 .skill 打包步骤。通过 echo "$CHERRY_STUDIO_SKILLS_DIR" 解析技能目录,在该目录下创建小写连字符命名的技能文件夹,写入 SKILL.md 及支持文件,同步后即出现在应用中,可随时就地修改。SKILL.md frontmatter 中的 name 必须与文件夹名一致,仅含小写字母、数字和连字符。评估工作区(<skill-name>-workspace/、iteration-*/ 等)必须建在技能目录之外,例如用户工作区的同级目录,以免被打包进技能。

适用场景与限制

适用于有客观可验证输出(文件转换、数据提取、代码生成、固定流程)的技能,也适用于输出主观(写作风格、艺术)的技能——后者更适合定性评估而非强行套用断言。技能内容不得包含恶意代码或危害系统安全的内容,也不应违背描述中的意图造成用户意外。测试用例的断言、运行时机数据(timing.json 中的 total_tokens、duration_ms)等需按资料中的流程处理;超出资料描述之外的具体收费、平台支持范围等信息暂未提供。