SuperAPI AI 工具集

skill-creator

通用与其它

查看项目

更新于 10-15 21:10

技能介绍

Skill Creator 是用于创建新技能(skill)并迭代改进它们的技能。

用途与流程:整体流程为:先确定技能要做什么及大致做法,写出技能草稿,创建若干测试提示并用可访问该技能的 Claude 运行,帮助用户从定性和定量两方面评估结果,再根据反馈重写技能,重复直至满意,最后扩大测试集在更大规模上重试。使用时应先判断用户处在流程的哪个阶段,再帮其推进;若用户已有草稿,可直接进入评估与迭代环节。技能完成后还可运行技能描述改进器(独立脚本)来优化技能的触发。

主要能力:捕获意图(从对话历史中提取工具、步骤、修正与输入输出格式,确认后再继续);访谈与研究(主动询问边缘情况、输入输出格式、示例文件、成功标准与依赖,必要时通过 MCP 或子代理并行调研);编写 SKILL.md(含 name、description、compatibility 等,description 是可考虑写得“主动”一些的触发机制,因为 Claude 目前倾向于“触发不足”);设计测试用例(客观可验证的技能适合测试用例,主观技能通常不需要,默认值由用户决定);运行与评估测试(同一轮内为每个测试用例同时启动带技能与基线两组子代理,结果放入 <skill-name>-workspace/ 并按迭代与用例分目录;运行期间起草断言;用 timing.json 记录 total_tokens 与 duration_ms;用 grader 按 agents/grader.md 评分,grading.json 的 expectations 必须用 text、passed、evidence 字段);聚合基准(python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>,产出 benchmark.json 与 benchmark.md);启动查看器(nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 &;迭代 2 起再加 --previous-workspace);读取 feedback.json 并据此改进;结束时 kill $VIEWER_PID 2>/dev/null。

技能结构:skill-name/ 下包含必需的 SKILL.md(YAML frontmatter 含 name、description,以及 Markdown 指令),可选 bundled resources:scripts/(确定性或重复任务的代码)、references/(按需加载的文档)、assets/(输出用模板、图标、字体)。采用三层渐进式披露:元数据始终在上下文(约 100 词)、SKILL.md 主体在触发时加载(理想小于 500 行)、资源按需加载。多领域技能可按变体组织,如 cloud-deploy/ 下 references/ 分 aws.md、gcp.md、azure.md,仅读取相关文件。大型引用文件(超过 300 行)应含目录。

写作与沟通:指令优先用祈使句;说明原因而非堆砌 MUST;输出格式可用固定模板定义,如 ## Report structure 后接 # [Title]、## Executive summary、## Key findings、## Recommendations。面向不同熟悉程度的用户注意用词,JSON、assertion 等术语需有明确线索才使用,必要时简要解释。

限制与要求:技能不得含恶意软件、漏洞利用代码或危害系统安全的内容,也不应配合创建误导性技能或便于未授权访问、数据外泄等恶意活动的请求;角色扮演类内容可以。此部分资料中“Improving the skill”之后的内容暂未提供。