用途
Skill Conductor 用于管理智能体技能(agent skills)的完整生命周期:起草、测试、审查、改进、重复。它把技能当作严格的软件工件,目标是让技能具备可自动化的生命周期循环、持续的二值评测(BinEval)断言、触发优化与发布门控,避免在真空中编写技能导致不可测试的提示词和未知的失败率。
主要能力
- 七种工作模式:CREATE(从意图到架构、脚手架、编写、测试)、IMPROVE(诊断、评测循环、门控自更新、迭代)、VALIDATE(结构检查、触发测试、BinEval 评分)、REVIEW(11 点质量门)、OPTIMIZE(描述优化,含训练/测试切分)、PACKAGE(验证并打包为 .skill 文件)、DISTRIBUTE(生成清单、GitHub 仓库与 CI)。
- 生命周期方法:CREATE 模式要求先捕获 2–3 个具体场景,再做基线测试(TDD RED)确认智能体在无技能时确实失败;随后选择架构模式(顺序工作流、迭代精炼、上下文感知选择、领域智能、多 MCP 协调)与自由度(脚本、伪代码、文本);再脚手架、编写 SKILL.md、设计测试用例并运行评测循环。
- 质量原则:参考 sop-practices.md 的 10 条通用编写原则,包括预检、描述中不放流程、SKILL.md 作为地图而非散文、新手上路视角、解释“为什么”、盲测智能体、内联检查清单、一个概念一个术语、去掉冗余(环境/密钥不写入 SKILL.md)、形式与失败匹配。
- 评测与门控:IMPROVE 模式支持基于失败 BinEval 问题的门控自更新循环,使用固定切分(holdout 0.4),每次最多 3 个原子编辑,接受条件包括:无 held-out 断言从通过翻转为失败、训练通过率严格提升、无新的关键问题失败;最多 3 次迭代。
- 验证与评分:VALIDATE 分三阶段:结构校验(eval_skill.py)、发现测试(3 个应触发 + 3 个不应触发)、BinEval 评分(5 个维度:Discovery、Clarity、Structure、Robustness、Completeness),分数区间为 ≥0.90 生产就绪、0.70–0.89 扎实、0.50–0.69 需改进、<0.50 重写。
- 打包与分发:PACKAGE 模式验证并打包为 .skill 文件;DISTRIBUTE 模式生成 package.json、marketplace.json、.skills.json、install.sh 等清单,并搭建 GitHub 仓库与 CI。
使用方式
接触脚本的模式(CREATE、IMPROVE、VALIDATE、OPTIMIZE、PACKAGE)需先运行预检:检查 uv,设置 UV_BIN/SKILL_CONDUCTOR_DIR,验证 LLM 访问;若 uv 缺失则停止并告知用户。脚手架命令示例:
uv run scripts/init_skill.py <skill-name> --path <output-dir> [--resources scripts,references,assets]
结构校验命令:uv run scripts/eval_skill.py <skill-folder>
聚合基准:uv run scripts/aggregate_benchmark.py <workspace>/iteration-N --skill-name <name>
启动评测查看器:uv run eval-viewer/generate_review.py <workspace> --skill-name <name> --benchmark <path>;无头模式用 --static <output.html>。
技能目录结构为:SKILL.md(必需,大脑)、scripts/(确定性操作)、references/(按需加载的详细文档)、assets/(输出用模板与图片)。SKILL.md 的 frontmatter 包含 name(小写、数字、连字符,最长 64 字符)与 description(最长 1024 字符,不含尖括号与流程步骤)。
适用场景
适用于需要从零构建智能体技能、改善已有技能、修复无法触发的技能、进行第三方审查、优化触发描述、打包分发技能以及搭建技能仓库与 CI 的作者和团队。特别适合希望用评测数据驱动改进而非凭个人品味的场景。
限制
依赖 uv 运行时环境,缺失时无法执行脚本相关模式。部分能力需要 LLM 访问与 Anthropic 密钥用于执行器子代理。BinEval 的 held-out 改进不作为必要条件。平台、收费、价格等信息暂未提供。