SuperAPI AI 工具集

skill-creator

通用与其它

查看项目

更新于 10-15 19:50

技能介绍

用途:Skill Creator 用于创建新技能、迭代改进现有技能,并衡量技能表现。它适合用户想从零做一个技能、更新或优化已有技能,或为技能建立测试与评估流程时使用。

主要能力:引导完成技能创建流程,包括明确技能目标与做法、撰写技能草稿、编写测试提示词、运行带技能与不带技能的对比、帮助用户做定性与定量评估、根据反馈重写技能,并逐步扩大测试集。技能完成后还可运行技能描述改进脚本,优化技能的触发。

使用方式:先判断用户处于流程的哪个阶段,再介入帮助推进。若用户已有草稿,可直接进入评估与迭代。技能结构为 skill-name/ 目录,包含必需的 SKILL.md(YAML frontmatter 含 name、description)与可选 scripts/、references/、assets/。测试用例保存到 evals/evals.json,运行结果放在 <skill-name>-workspace/ 下按 iteration 与 eval 组织。聚合基准使用 python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>,查看结果使用 eval-viewer/generate_review.py,无显示环境可用 --static 输出独立 HTML。

适用场景:创建或优化技能、编写测试提示词、设计定量断言、运行对比评估、查看基准与反馈并迭代。

限制:技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容,不应创建误导性或用于未授权访问、数据外泄的技能。主观类技能(写作风格、艺术)更适合定性评估,不宜强行套用断言。部分脚本、路径与依赖细节资料未完整提供。