SuperAPI AI 工具集

skill-creator

通用与其它

查看项目

更新于 10-15 17:19

技能介绍

用途:帮助用户创建新技能、迭代改进已有技能,并对技能效果进行定量与定性评估。整体流程为:明确技能要做什么及大致做法;写出技能草稿;创建若干测试提示并运行;协助用户从定性和定量两方面评估结果;依据反馈重写技能并重复,最后扩大测试集再试。使用时可先判断用户处于哪个阶段,再介入帮助推进;若用户已有草稿,可直接进入评估迭代循环;若用户只想简单尝试而不需要大量评估,也可灵活处理。技能完成后可运行描述改进脚本优化技能的触发。

主要能力:撰写 SKILL.md;设计测试用例并保存到 evals/evals.json;在同一轮中同时启动带技能与基线的子代理运行;在工作区按迭代与用例组织结果;起草可客观验证的断言;捕获每次运行的总 token 与耗时;运行评分与聚合脚本生成 benchmark.json 与 benchmark.md;启动查看器生成结果页面供用户查看并收集 feedback.json;根据反馈改进技能。

结构约定:技能目录包含必需的 SKILL.md(YAML frontmatter 与 Markdown 指令),以及可选的 scripts/、references/、assets/。采用三级渐进披露:元数据常驻上下文、正文在触发时加载、资源按需加载;SKILL.md 建议不超过 500 行。

必要用法:聚合基准使用 python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>,需先把每个 with_skill 版本放在其基线之前。查看器使用 generate_review.py 生成,例如 nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 &,随后 VIEWER_PID=$!;第 2 轮及以后加 --previous-workspace <workspace>/iteration-<N-1>。无显示环境可用 --static <output_path> 输出独立 HTML。结束后用 kill $VIEWER_PID 2>/dev/null 关闭。

限制与约束:技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容,不得创建误导性或助长未授权访问、数据外泄的技能。评估中应使用可客观验证、命名清晰的断言;主观类技能更适合定性评估。文档未提供具体收费、价格、平台与效果数据。