SuperAPI AI 工具集

skill-creator

智能体与模型

查看项目

更新于 11-10 16:24

技能介绍

用途

Skill Creator 用于创建新技能、修改和改进已有技能,并衡量技能的实际表现。当用户希望从零创建一个技能、编辑或优化已有技能时使用。它帮助用户走完从构思到评估迭代的完整流程,并可根据用户所处阶段灵活介入。

主要能力

  • 捕获意图:从对话历史或用户输入中提炼技能目标、触发场景、输出格式,并判断是否需要测试用例。
  • 访谈与研究:主动询问边界情况、输入输出格式、示例文件、成功标准和依赖,并可利用 MCP 或子代理并行检索文档与最佳实践。
  • 编写 SKILL.md:按规范填写 name、description(含触发场景,建议措辞稍“主动”以对抗欠触发)、compatibility 及正文指令,遵循渐进式披露与目录结构。
  • 测试用例设计:生成 2-3 个真实用户可能说出的测试提示,保存到 evals/evals.json,并逐步补充可客观验证的断言。
  • 运行与评估:在同一轮中并行启动带技能与基线(无技能或旧版本快照)的子代理运行,保存输出、记录耗时与 token 数据,进行评分与聚合,生成 benchmark 数据。
  • 可视化评审:使用 eval-viewer/generate_review.py 启动评审页面,展示定性输出与定量指标,收集用户反馈。
  • 迭代改进:根据用户反馈和定量基准中的明显缺陷重写技能,重复评估,并逐步扩大测试集。
  • 描述优化:技能完成后可运行独立的描述改进脚本,优化技能的触发效果。

使用方式

用户可直接说“我想为 X 做一个技能”,或提供已有草稿让工具直接进入评估迭代环节。流程大致为:明确目标 → 编写草稿 → 设计测试提示 → 并行运行带技能与基线 → 起草断言并解释 → 记录耗时/token → 评分聚合 → 启动评审查看器 → 读取 feedback.json → 根据反馈修改 → 重复直至满意 → 扩大测试集。若用户不需要大量评估,也可灵活跳过。

适用场景

适合需要创建、修改或优化 AI 技能,并希望用测试用例和量化指标验证效果的用户;对输出可客观验证的技能(文件转换、数据提取、代码生成、固定工作流)尤其适用,主观类技能(写作风格、艺术)则更适合定性评估。

限制

资料未提供该技能的收费、价格、平台兼容性细节或安装命令。技能内容不得包含恶意代码或可能危害系统安全的内容。