SuperAPI AI 工具集

create-skill

通用与其它

查看项目

更新于 10-16 07:17

技能介绍

用途:这是一个用于创建新技能并迭代改进它们的技能。创建技能的流程大致为:明确技能要做什么及大致做法、写出草稿、准备测试提示并让智能体在可访问技能的情况下运行、帮助用户从定性和定量两方面评估结果、在运行进行期间起草定量评测并向用户解释、用 eval-viewer/generate_review.py 脚本展示结果和定量指标、根据用户反馈重写技能、重复直至满意,最后扩大测试集再试。使用时需判断用户处于流程哪一步并帮助推进:若用户只有想法,可帮助细化、写草稿、写测试用例、确定评估方式并运行;若已有草稿,可直接进入评估迭代环节;若用户不需要大量评估,也可灵活配合。技能完成后还可运行技能描述改进器优化触发。

沟通:使用者对编程术语的熟悉程度差异大,需注意语境线索调整措辞;对“evaluation”“benchmark”可接受,对“JSON”“assertion”等需先确认用户是否了解,不确定时可简短解释。

技能结构:目录含 SKILL.md(必需,含 YAML frontmatter 的 name、description 及 Markdown 指令),可选 scripts/、references/、assets/。采用三级加载:元数据(名称+描述,始终在上下文)、SKILL.md 主体(触发时加载,理想少于500行)、捆绑资源(按需加载)。description 是主要触发机制,应同时写清作用与具体使用场景,可适当“强势”以减少欠触发。

测试与评估:写 2-3 个真实测试提示,保存到 evals/evals.json。运行测试时,每个用例在同一轮启动两个子智能体(带技能与基线),结果放入 <skill-name>-workspace/ 并按迭代与用例分目录。运行中起草断言;运行完成后记录 timing.json 的 total_tokens 与 duration_ms;由 grader 按 agents/grader.md 评分,grading.json 的 expectations 数组须用 text、passed、evidence 字段;用脚本聚合:python {{skill_dir}}/scripts/aggregate_benchmark.py <workspace>/iteration-N --skill-name <name>;启动查看器:nohup python {{skill_dir}}/eval-viewer/generate_review.py ...;无头环境用 --static。注意不要用 /skill-test 或其他测试技能;generate_review.py 生成查看器即可,无需自写 HTML。用户提交反馈后读取 feedback.json,空反馈表示无意见,重点改进有具体抱怨的用例,完成后可 kill $VIEWER_PID。

限制:资料未提供收费、价格、平台支持与具体效果数据。