SuperAPI AI 工具集

skill-lab

智能体与模型

查看项目

更新于 10-15 20:29

技能介绍

Skill Lab 是一个面向“技能开发”的技能,用于创建新技能并对其做迭代式改进。整体流程为:明确技能目标与思路,撰写技能草稿,设计若干测试提示并让带该技能的 Claude 运行,从定性与定量两方面帮助用户评估结果,依据反馈重写技能并重复,最后扩大测试集在更大规模上验证;技能完成后还可运行技能描述改进器来优化触发。使用时先判断用户处于流程哪一阶段,再介入协助推进;若用户已有草稿,可直接进入评估与迭代环节。

主要能力包括:从对话历史中捕获意图(工具、步骤顺序、用户的纠正、输入输出格式),就边界情况、输入输出格式、示例文件、成功标准与依赖进行访谈和研究;撰写 SKILL.md,包含 name 与 description 等 YAML frontmatter,其中 description 兼具“做什么”与“何时使用”信息且应稍显“主动”以对抗欠触发;用 evals/evals.json 保存测试用例(先写提示,稍后补断言);在同一次操作中并行启动带技能与基线(无技能或旧版本技能)的运行,将结果按 iteration 与 eval 分目录存入 <skill-name>-workspace/;运行期间起草可客观验证的断言,并在每个任务完成时把 total_tokens 与 duration_ms 立即写入 timing.json;随后评分、聚合基准(python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>),并用 eval-viewer/generate_review.py 启动查看器展示输出与基准数据,无显示环境可用 --static 生成独立 HTML。

限制与注意:技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容,也不应配合误导性或未授权访问、数据外泄等请求;SKILL.md 建议控制在 500 行以内,大型参考文件应加目录;主观类输出(写作风格、艺术)更适合定性评估,不必强行套用断言;评分结果的 expectations 数组必须使用 text、passed、evidence 字段名,否则查看器无法识别;向用户解释 JSON、断言等术语时需根据其熟悉程度判断是否先作说明。具体安装方式、价格与平台支持等事实暂未提供。