SuperAPI AI 工具集

skill-creator

通用与其它

查看项目

更新于 10-16 09:55

技能介绍

用途:Skill Creator 用于创建新技能、迭代改进已有技能,并衡量技能效果。适用于从零编写技能、更新优化技能,以及为技能搭建测试与评估流程的场景。

主要能力:它把技能创建组织为一条流程——明确技能目标与大致做法、写草稿、准备测试提示词、让 Claude 在可访问该技能的情况下运行、帮助用户从定性与定量两方面评估结果、根据反馈重写技能,并循环迭代,最后扩大测试集。支持评估查看器脚本 eval-viewer/generate_review.py,用于展示结果与量化指标;当技能完成后还可运行技能描述改进器以优化触发。

使用方式:使用时先判断用户处在流程的哪一步,再介入帮助推进,例如帮助收窄意图、写草稿、写测试用例、确定评估方式、运行提示词并重复。若已有草稿,可直接进入评估与迭代环节。技能结构为 skill-name/ 目录,含 SKILL.md(必填)及可选 scripts/、references/、assets/。SKILL.md 采用 YAML frontmatter,name 与 description 必填,description 同时说明做什么与何时触发。建议保持 SKILL.md 在 500 行以内,较长的参考文件附目录,并按领域变体组织引用文件。测试用例可保存到 evals/evals.json,运行结果放在 skill 目录同级的 <skill-name>-workspace/,按 iteration-1/、iteration-2/ 与 eval-0/、eval-1/ 组织。聚合基准可运行:python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>。查看器可用 nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 & 启动,结束时用 kill $VIEWER_PID 2>/dev/null 关闭;无显示环境可用 --static <output_path> 生成独立 HTML。

适用场景:适合需要把可复用工作流沉淀为技能、需要客观验证输出(文件转换、数据提取、代码生成、固定流程)、或需要基于用户反馈持续优化技能的用户。主观型技能(写作风格、艺术)通常更适合定性评估。

限制:技能不得包含恶意软件、漏洞利用代码或可能危害系统安全的内容,不应创建误导性技能或协助未授权访问、数据外泄等;测试与评估的具体效果、收费、价格、平台等信息暂未提供。