SuperAPI AI 工具集

skill-creator

智能体与模型

查看项目

更新于 10-19 19:24

技能介绍

Skill Creator 是一个用于创建新技能、迭代改进现有技能并评估技能表现的元技能。它面向希望构建或优化 Claude 技能的用户,提供从意图梳理到测试评估的完整流程。

主要能力包括:帮助用户明确技能目标与触发场景;撰写符合规范的 SKILL.md(包含 name、description、compatibility 等字段);设计测试用例并保存至 evals/evals.json;同时运行带技能与不带技能的基线任务进行对比;协助用户从定性和定量两个角度评估结果;根据反馈重写技能并重复迭代;最后可使用独立的描述优化脚本来改进技能的触发效果。

使用方式上,该技能会先判断用户处于流程的哪个阶段,然后介入帮助推进。如果用户已有技能草稿,可直接进入评估迭代环节;如果用户不需要大量评估,也可以灵活调整。技能写作遵循渐进式披露原则:元数据始终在上下文中,SKILL.md 主体在触发时加载(建议少于 500 行),捆绑资源按需加载。推荐使用祈使句、提供输出格式模板和示例,并解释重要性的原因而非强制使用大量 MUST。

测试评估流程包括:为每个测试用例在同一轮次中启动带技能和基线两个子代理;在运行期间起草定量断言;运行完成后保存耗时与 token 数据;使用评分代理按断言评估输出;通过聚合脚本生成 benchmark.json 和 benchmark.md;最后用 eval-viewer/generate_review.py 启动查看器,展示定性输出与定量基准。用户可在查看器中逐条反馈,反馈保存为 feedback.json 供下一轮迭代使用。

适用场景包括:从零创建技能、修改或优化已有技能、为技能建立可量化的评估基准、优化技能描述以改善触发。限制方面,资料未提供具体的安装命令、收费模式或平台依赖信息;对于主观性输出(如写作风格、艺术设计),建议以定性评估为主,不强行添加断言。该技能要求技能内容不得包含恶意代码或危害系统安全的内容。