SuperAPI AI 工具集

skill-creator

通用与其它

查看项目

更新于 10-16 05:03

技能介绍

用途:帮助用户创建新的技能,并迭代改进已有技能,同时测量技能表现。适用于从零创建技能、编辑或优化技能的场景。

主要流程:先明确技能要做什么、大致如何实现;写出技能草稿;准备若干测试提示,并在可访问该技能的环境下运行;帮助用户从定性和定量两方面评估结果;用 eval-viewer/generate_review.py 展示结果;根据反馈及量化指标重写技能;重复直到满意;再扩大测试集规模重试。使用时需判断用户处于流程哪一步,并据此协助推进;若已有草稿可直接进入评估与迭代,若用户不需要大量评估也可灵活配合。技能完成后还可运行技能描述改进脚本以优化触发。

技能结构:必备 SKILL.md,含 YAML frontmatter(name、description 必填)与 Markdown 指令;可选附带脚本、参考文档与资源文件,采用渐进式披露的三级加载。description 是主要触发机制,应同时写明技能做什么以及何时使用。

测试与评估:测试用例保存在 evals/evals.json;在 <skill-name>-workspace/ 下按迭代组织,并同时运行带技能与基线(新技能无技能、改进技能用旧版快照)两组。运行中起草断言,运行完成后记录 timing.json,再评分、聚合为 benchmark.json/benchmark.md,并启动查看器展示定性与定量结果。也可用 --static 输出独立 HTML。

限制与注意:技能不得包含恶意软件、利用代码或其他危害系统安全的内容;不得协助创建误导性技能或用于未授权访问、数据外泄等恶意活动。查看器依赖 grading.json 中 text、passed、evidence 字段名。资料中部分内容(如改进技能的后续步骤)被截断,暂未提供完整说明。