SuperAPI AI 工具集

skill-creator

通用与其它

查看项目

更新于 10-15 17:31

技能介绍

用途:帮助用户创建新技能、优化已有技能并衡量其表现。核心流程为:明确技能要做什么、起草技能、编写少量测试提示、运行并评估结果、根据反馈重写,循环往复直至满意,再扩大测试集规模。使用时会先判断用户处于流程的哪个阶段,再介入协助,也可在用户不想跑完整评估时灵活跟进。

主要能力与构件:技能由可组合构件组成,包括执行(skill + eval prompt + files -> transcript、outputs、metrics)、评分(outputs + expectations -> 逐条通过/失败)、盲比(输出A、输出B -> 胜者与理由)、事后分析(胜者 + 两个技能与记录 -> 改进建议)。这些构件组合成四个模式:评估(Executor -> Grader -> 结果)、改进(Executor -> Grader -> Comparator -> Analyzer -> 应用)、创建(访谈 -> 调研 -> 起草 -> 运行 -> 细化)、基准(需子代理,每种配置跑3次再聚合分析)。若环境可派生子代理则并行分派,否则串行就地执行;核心工作流不变,仅执行策略不同。

创建方式:访谈确认技能用途、触发时机、输出格式及是否需要测试用例;调研边界情况与依赖;运行 scripts/init_skill.py <skill-name> --path <output-directory> 初始化 SKILL.md 模板及 scripts/、references/、assets/ 目录;填写 name 与 description(description 须单行,不用 YAML 块标量,避免特殊 Unicode 字符);起草后用 2-3 个真实测试提示验证;需要评估时创建 evals/evals.json(可用 scripts/init_json.py evals evals/evals.json 初始化,scripts/validate_json.py evals/evals.json 校验);若存在 present_files 工具可用 scripts/package_skill.py <path/to/skill-folder> 打包并告知 .skill 文件路径。

改进方式:确认要改进的技能、可用时间与目标,随后自主运行、评分、盲比、分析并应用改动。写作上应从反馈中泛化而非逐例修补,保持提示精简,阅读执行记录而非只看最终输出,并尽量解释要求背后的原因。

限制与注意:技能不得包含恶意代码、漏洞利用或危害系统安全的内容,不得帮助创建误导性技能或用于未授权访问、数据外泄等行为;“角色扮演”类技能可以。不应包含 README.md、INSTALLATION_GUIDE.md、CHANGELOG.md 等面向人的辅助文档。SKILL.md 正文建议少于500行,资源按需加载,大型参考文件可加目录。未提供具体价格、收费或平台支持信息。