SuperAPI AI 工具集

create-skill-autoresearch

智能体与模型

查看项目

更新于 10-15 11:28

技能介绍

用途

create-skill-autoresearch 是一个工厂型技能,用于创建生产级、经过基准测试、可自主改进并经过验证的智能体技能(agent skills)。它通过金标准驱动的自动研究、多智能体验证和结构化共识来“锻造”技能。

该工厂扩展了官方单次生成的技能创建器(Anthropic 的 Skills 最佳实践和 skill-creator;Cursor 的 create-skill),而非取代它们。它增加了一次性生成器无法提供的内容:研究档案、金标准基准测试、自主改进循环和独立的多智能体验证。它产出的技能遵循相同的官方约定。

主要能力

工厂通过 5 个阶段编排 4 种智能体角色:

  1. 访谈(Interview):由 ORCHESTRATOR 发现目的、金标准和范围。
  2. 研究(Research):由 RESEARCHER(N 个并行)研究领域材料、构建档案、提出评分标准。
  3. 起草(Draft):由 BUILDER 设计结构、生成 SKILL.md、测量基线。
  4. 自动研究(Autoresearch):由 BUILDER + autoresearch 技能,针对金标准迭代技能(LLM 作为评判者,或对程序性技能使用客观的真实世界指标)。
  5. 验证(Verify):由 PANEL(3 个子智能体)进行事前验尸、小组评分、共识、发布/迭代。

关键约束:BUILDER 和 PANEL 从不共享上下文。评审团只接收技能输出、金标准和评分标准——不受构建过程的偏见影响。

使用方式

阶段 1:访谈

通过结构化问题发现用户需求。不要假设——要询问。一次询问一个主题并记录答案。

需要发现的内容包括:目的与领域、金标准、研究材料、范围与约束、现有技能。

金标准最少 3 个。更少则有风险——警告用户并提供替代方案:创建合成示例,或寻找额外的参考材料。

确认后,在 builds/<skill-name>/ 创建构建工作区,包含三个所有权区域:

  • input/ —— 用户放置金标准 + 研究材料的地方
  • work/ —— 工厂生成的一切:manifest.yaml、research/、evaluation/、experiments/、handoffs/
  • output/<skill-name>/ —— 完成的技能(SKILL.md + references/),可发布

阶段 2:研究

在编写任何技能代码之前彻底研究领域。

按相关性聚类研究材料,然后为每个聚类启动一个探索子智能体。聚类启发式:按来源类型、按子主题。上限 5-7 个聚类,最少 2 个聚类。

每个子智能体:深入阅读分配的材料、将发现提炼为 work/research/ 中的研究笔记、识别与技能相关的模式、约定和质量信号。

所有研究员完成后,将发现综合到 work/research/00-synthesis.md。

基于研究起草 work/evaluation/rubric.yaml,始终包含这些通用维度:correctness、completeness、clarity、consistency、predictability。再添加 3-5 个领域特定维度(共 5-10 个维度)。

阶段 3:起草

先设计后编写。先编写后测量。

创建 work/experiments/DESIGN.md,包含技能名称和描述、结构决策、调用模式、集成点、关键术语和语气决策。

在编写任何技能代码之前,对抗性地挑战设计。

遵循设计和官方技能编写规则生成 SKILL.md 草稿。编写前运行预检清单(硬约束):

  • name:<= 64 字符,仅小写/数字/连字符,无保留字 anthropic/claude
  • description:<= 1024 字符,第三人称,说明做什么和何时使用
  • 正文 < 500 行;渐进式披露
  • 文件引用仅一层深;任何超过 100 行的参考文件需目录

创建 work/evaluation/evaluate.sh 构建评估脚本。

确定性 vs LLM 评判评估:并非每个维度都需要 LLM 评判者。尽可能优先使用确定性检查。仅在需要主观判断的维度使用 LLM 作为评判者。

程序性/智能体技能:有些技能不会一次性生成产物——它们指示智能体对真实产物执行多步任务。对于这些,应通过针对真实产物的执行和客观的真实世界指标进行评估。

多评判者评估(预算允许时推荐):运行 2-3 个不同的 LLM 模型作为评判者。

在测试用例上运行 evaluate.sh 测量基线。记录基线分数。这是实验 0。

阶段 4:自动研究

调用 autoresearch 技能,针对评估评分标准迭代技能草稿。

配置参数包括:目标、指标命令、主要指标、方向、范围内文件、范围外文件、约束、预算、检查。

数据划分:

  • 金标准 >= 10:70% 训练、20% 验证、10% 测试
  • 金标准 3-9:留一法轮换

大型集合(100+ 金标准)的成本意识:每次 LLM 评判调用都花费真金白银。使用采样策略缓解。

过拟合检测:自适应地对验证集运行 evaluate.sh。

自动研究技能处理循环:THINK-EDIT-COMMIT-RUN-MEASURE-DECIDE-LOG 循环、METRIC 协议、ASI 字段、平台期检测、结果记录。

结束循环是工厂的决定,不是循环的。置信度合格的平台期是终止性的。

阶段 5:验证

(资料中此部分内容被截断,暂未提供完整细节。)

适用场景

适用于需要高质量、可基准测试、可自主改进并经过验证的智能体技能开发场景。特别适合需要研究档案、金标准基准测试、自主改进循环和独立多智能体验证的复杂技能创建。

限制

  • 金标准最少 3 个,更少则有风险。
  • 聚类上限 5-7 个,最少 2 个。
  • 技能正文 < 500 行。
  • 大型金标准集合(100+)的 LLM 评判成本较高。
  • 需要配套技能 autoresearch、premortem、handoff 等。
  • 阶段 5 的完整细节在提供的资料中被截断,暂未提供。