SuperAPI AI 工具集

skill-creator

通用与其它

查看项目

更新于 10-16 08:45

技能介绍

用途:skill-creator 是一个用于创建新技能、迭代改进现有技能并衡量技能表现的技能。整体流程为:明确技能要做什么及大致如何实现、撰写技能草稿、编写测试提示并以带技能的 Claude 运行、帮助用户定性与定量评估结果、按反馈重写技能、重复迭代、扩大测试集规模。使用时先判断用户处于流程哪一步再介入;若已有草稿可直接进入评测迭代环节,也可按用户意愿跳过大量评测。

主要能力:捕获技能意图(作用、触发时机、输出格式、是否需要测试用例);访谈与研究边界情况、输入输出格式、示例文件、成功标准和依赖;撰写 SKILL.md;设计测试用例并运行与基线对比;聚合基准数据并生成评审页面。技能结构为 SKILL.md 加可选 scripts/、references/、assets/,采用三级渐进式加载:元数据、SKILL.md 正文(建议 500 行内)、按需加载的资源。

使用方式:测试用例保存到 evals/evals.json,结果放在与技能目录同级的 <skill-name>-workspace/,按迭代分目录。聚合命令为 python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>。评审页面使用 eval-viewer/generate_review.py 启动,无显示环境可用 --static 输出独立 HTML。完成后可运行技能描述改进脚本优化触发。

限制:技能不得包含恶意代码或危害系统安全的内容,不应创建误导性或用于未授权访问、数据外泄的技能;主观类技能不宜强行套用断言;技能描述应略微“主动”以缓解触发不足。价格、收费、平台等信息暂未提供。