用途
create-skill-autoresearch 是一个工厂型技能,用于创建生产级、经过基准测试、可自主改进并经过验证的智能体技能(agent skills)。它通过金标准驱动的自动研究、多智能体验证和结构化共识来“锻造”技能。
该工厂扩展了官方单次生成的技能创建器(Anthropic 的 Skills 最佳实践和 skill-creator;Cursor 的 create-skill),而非取代它们。它增加了一次性生成器无法提供的内容:研究档案、金标准基准测试、自主改进循环和独立的多智能体验证。它产出的技能遵循相同的官方约定。
主要能力
工厂通过 5 个阶段编排 4 种智能体角色:
- 访谈(Interview):由 ORCHESTRATOR 发现目的、金标准和范围。
- 研究(Research):由 RESEARCHER(N 个并行)研究领域材料、构建档案、提出评分标准。
- 起草(Draft):由 BUILDER 设计结构、生成 SKILL.md、测量基线。
- 自动研究(Autoresearch):由 BUILDER + autoresearch 技能,针对金标准迭代技能(LLM 作为评判者,或对程序性技能使用客观的真实世界指标)。
- 验证(Verify):由 PANEL(3 个子智能体)进行事前验尸、小组评分、共识、发布/迭代。
关键约束:BUILDER 和 PANEL 从不共享上下文。评审团只接收技能输出、金标准和评分标准——不受构建过程的偏见影响。
使用方式
阶段 1:访谈
通过结构化问题发现用户需求。不要假设——要询问。一次询问一个主题并记录答案。
需要发现的内容包括:目的与领域、金标准、研究材料、范围与约束、现有技能。
金标准最少 3 个。更少则有风险——警告用户并提供替代方案:创建合成示例,或寻找额外的参考材料。
确认后,在 builds/<skill-name>/ 创建构建工作区,包含三个所有权区域:
- input/ —— 用户放置金标准 + 研究材料的地方
- work/ —— 工厂生成的一切:manifest.yaml、research/、evaluation/、experiments/、handoffs/
- output/<skill-name>/ —— 完成的技能(SKILL.md + references/),可发布
阶段 2:研究
在编写任何技能代码之前彻底研究领域。
按相关性聚类研究材料,然后为每个聚类启动一个探索子智能体。聚类启发式:按来源类型、按子主题。上限 5-7 个聚类,最少 2 个聚类。
每个子智能体:深入阅读分配的材料、将发现提炼为 work/research/ 中的研究笔记、识别与技能相关的模式、约定和质量信号。
所有研究员完成后,将发现综合到 work/research/00-synthesis.md。
基于研究起草 work/evaluation/rubric.yaml,始终包含这些通用维度:correctness、completeness、clarity、consistency、predictability。再添加 3-5 个领域特定维度(共 5-10 个维度)。
阶段 3:起草
先设计后编写。先编写后测量。
创建 work/experiments/DESIGN.md,包含技能名称和描述、结构决策、调用模式、集成点、关键术语和语气决策。
在编写任何技能代码之前,对抗性地挑战设计。
遵循设计和官方技能编写规则生成 SKILL.md 草稿。编写前运行预检清单(硬约束):
- name:<= 64 字符,仅小写/数字/连字符,无保留字 anthropic/claude
- description:<= 1024 字符,第三人称,说明做什么和何时使用
- 正文 < 500 行;渐进式披露
- 文件引用仅一层深;任何超过 100 行的参考文件需目录
创建 work/evaluation/evaluate.sh 构建评估脚本。
确定性 vs LLM 评判评估:并非每个维度都需要 LLM 评判者。尽可能优先使用确定性检查。仅在需要主观判断的维度使用 LLM 作为评判者。
程序性/智能体技能:有些技能不会一次性生成产物——它们指示智能体对真实产物执行多步任务。对于这些,应通过针对真实产物的执行和客观的真实世界指标进行评估。
多评判者评估(预算允许时推荐):运行 2-3 个不同的 LLM 模型作为评判者。
在测试用例上运行 evaluate.sh 测量基线。记录基线分数。这是实验 0。
阶段 4:自动研究
调用 autoresearch 技能,针对评估评分标准迭代技能草稿。
配置参数包括:目标、指标命令、主要指标、方向、范围内文件、范围外文件、约束、预算、检查。
数据划分:
- 金标准 >= 10:70% 训练、20% 验证、10% 测试
- 金标准 3-9:留一法轮换
大型集合(100+ 金标准)的成本意识:每次 LLM 评判调用都花费真金白银。使用采样策略缓解。
过拟合检测:自适应地对验证集运行 evaluate.sh。
自动研究技能处理循环:THINK-EDIT-COMMIT-RUN-MEASURE-DECIDE-LOG 循环、METRIC 协议、ASI 字段、平台期检测、结果记录。
结束循环是工厂的决定,不是循环的。置信度合格的平台期是终止性的。
阶段 5:验证
(资料中此部分内容被截断,暂未提供完整细节。)
适用场景
适用于需要高质量、可基准测试、可自主改进并经过验证的智能体技能开发场景。特别适合需要研究档案、金标准基准测试、自主改进循环和独立多智能体验证的复杂技能创建。
限制
- 金标准最少 3 个,更少则有风险。
- 聚类上限 5-7 个,最少 2 个。
- 技能正文 < 500 行。
- 大型金标准集合(100+)的 LLM 评判成本较高。
- 需要配套技能 autoresearch、premortem、handoff 等。
- 阶段 5 的完整细节在提供的资料中被截断,暂未提供。