SuperAPI AI 工具集

skill-creator

智能体与模型

查看项目

更新于 10-15 21:41

技能介绍

用途:Skill Creator 帮助用户创建新技能并迭代改进,也支持对已有技能草稿直接进入评估与迭代环节。它先判断用户处于流程的哪个阶段,再协助推进。

主要能力:澄清技能意图(技能应让智能体做什么、何时触发、输出格式、是否需要测试用例);访谈并研究边界情况、输入输出格式、示例文件、成功标准与依赖;编写 SKILL.md,包含 name、description、compatibility 等组件;设计 2-3 个真实测试提示并保存到 evals/evals.json;同时启动带技能与基线两组子代理运行;在运行期间起草量化断言;捕获 total_tokens 与 duration_ms 计时数据;评分、聚合成 benchmark.json 与 benchmark.md;用 eval-viewer/generate_review.py 展示定性输出与量化指标;根据反馈重写技能并重复,最后扩大测试集。还提供技能描述改进脚本以优化触发。

使用方式:按流程推进,运行评估时把结果放在 <skill-name>-workspace/ 下,按 iteration-N/eval-ID 组织;聚合命令为 python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>;查看器命令为 nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 &。无显示环境可用 --static <output_path> 生成独立 HTML。

适用场景:构建新技能、更新已有技能、运行评估、检查触发质量、改进技能描述。技能结构支持 SKILL.md 加 scripts、references、resources、assets 等可选资源,采用元数据、正文、捆绑资源三级渐进式加载。

限制:技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容;跨平台时以可移植基线为主,仅在明确目标宿主时添加覆盖层;主观类技能更适合定性评估,不宜强行套用断言。