SuperAPI AI 工具集

skill-creator

通用与其它

查看项目

更新于 10-15 20:31

技能介绍

用途:skill-creator 帮助用户从零创建新技能、迭代改进已有技能,并用测试用例和量化指标衡量技能表现。它也可用于优化技能描述,改善技能触发效果。

主要能力:协助梳理技能意图;通过访谈澄清边界情况、输入输出格式与成功标准;起草 SKILL.md,包含 name、description(触发条件与功能)、可选 compatibility 等;设计 2-3 个真实测试提示并保存到 evals/evals.json;同时运行带技能与基线(无技能或旧版技能)的对照;在运行期间起草可客观验证的断言;收集各次运行的 token 与耗时;使用评分脚本或子智能体评分并汇总 benchmark;通过 eval-viewer/generate_review.py 展示定性输出与量化对比;根据用户反馈重写技能并重复迭代;最后可运行技能描述优化脚本。

使用方式:先判断用户处于流程的哪个阶段,再帮助推进。创建新技能时,先明确技能功能、触发场景、输出格式,以及是否需要测试用例;有客观可验证输出的技能更适合测试用例,主观输出技能更适合定性评估。写好后按 SKILL.md、scripts、references、assets 组织,并遵循渐进式披露:元数据始终在上下文中,正文触发时加载,资源按需加载;SKILL.md 建议不超过 500 行,较大参考文件应加目录。测试时将结果放入 <技能名>-workspace/iteration-N/ 目录,按 eval 分目录,并保存 eval_metadata.json、timing.json、grading.json。汇总命令为 python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>。查看器命令示例:nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json,迭代 2 及以上可加 --previous-workspace。无显示环境时可用 --static <output_path> 输出独立 HTML。反馈通过 feedback.json 读取。

适用场景:为用户想要固化的对话工作流创建技能;编辑或优化已有技能;为技能建立量化评测与基线对比;改善技能触发与描述。

限制:技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容,不应在意图上令用户意外;不得创建误导性技能或帮助未授权访问、数据外泄等。文档未提供价格、平台支持范围、具体收费或性能保证等信息,暂未提供。撰写时宜用祈使式,说明理由而非堆砌强制要求,并保持通用而非过度窄化。