Skill Creator 是一个遵循 agentskills.io 标准、使用 TypeScript 和 Vite 构建的技能创建工具，用于创建新技能、修改和改进已有技能，并测量技能性能。其核心流程包括：明确技能用途与实现方式、编写 SKILL.md 草稿、设计测试提示、在带技能和不带技能两种配置下运行 Agent、帮助用户进行定性与定量评估、根据反馈与基准缺陷重写技能，最后扩展测试集并优化技能描述以提高触发准确率。使用该技能时，需要判断用户处于流程中的哪个阶段并灵活介入；若用户希望从零创建，则引导其完成访谈；若已有草稿，则直接进入评估与迭代循环，同时尊重用户不想运行完整基准测试的偏好。
在沟通方面，该技能面向对编程术语熟悉程度不同的用户，需要根据上下文调整措辞：对“评估”“基准”等词可直接使用，但对“断言”“JSON schema”“统计方差”等术语应在用户未明确熟悉时简要解释。
创建技能时，首先从对话历史中提取意图，包括技能应让 Agent 做什么、何时触发（用户短语、关键词或上下文）、预期输出格式（代码、Markdown 模板、结构化 JSON），以及是否设置测试用例。具有客观可验证输出的技能（文件转换、数据提取、代码生成、固定工作流步骤）非常适合测试用例，主观输出（写作风格、艺术）通常不需要。随后主动询问边界情况、输入输出格式、示例文件、成功标准和依赖，并可利用 MCP 和工具进行并行研究。
编写 SKILL.md 时需填写以下组件：name（技能标识符，1–64 个字符，小写字母数字和连字符，严格匹配父目录名）；description（主要触发机制，说明技能做什么以及何时使用，所有“何时使用”信息放在此处而非正文，且应主动、略带“强推”风格以对抗 Agent 的“触发不足”倾向）；compatibility（可选，所需工具或运行环境）；正文指令（核心指令保持在 500 行以内）。技能目录结构包括：SKILL.md（必需）、scripts/（可选，确定性或重复任务的执行代码）、references/（可选，按需加载的技术手册）、assets/（可选，模板、schema、图标等静态资源）、evals/（模块化测试套件与评估定义）。技能采用三级加载系统：元数据（name + description，启动时加载，约 100 tokens）、SKILL.md 正文（激活时加载，建议少于 5000 tokens）、捆绑资源（严格按需加载或执行）。编写时使用祈使句式、定义明确的输出格式模板、包含具体前后对比示例，并解释约束背后的原因而非使用全大写 rigid 指令。同时遵循“无意外原则”：技能不得包含恶意软件、漏洞利用代码或任何危害系统安全的内容，内容必须与声明的意图一致，不得有隐藏副作用。
设计测试用例时，编写 2–3 个真实用户可能输入的测试提示，保存为模块化套件到 skills/<skill-name>/evals/suites/<topic>.json，包含 skill_name、suite、evals（每个 eval 含 id、prompt、expected_output、files）。运行评估时，同一轮次内为每个测试用例启动两个运行（带技能与基线），并发执行，输出保存到 evals-workspace/<skill-name>/iteration-<N>/eval-<ID>/ 下；同时为每个用例创建 eval_metadata.json，并在运行期间起草定量断言。运行完成后，对每个运行进行评分（grading.json 含 text、passed、evidence），运行 npm run eval:full -- --skill <skill-name> 生成 benchmark.json 和 benchmark.md（通过率、时间、tokens、均值±标准差及差值），进行分析师审查（非区分性断言、高方差评估、时间/令牌权衡），然后通过 npm run eval:view 启动查看器（http://localhost:3333），用户可在 Outputs 视图并排检查输出并记录反馈，在 Benchmark 视图查看定量比较，点击“Submit All Reviews”保存 feedback.json。无头或远程环境可生成静态审查产物并让用户下载 feedback.json。
改进技能的核心迭代循环包括：从反馈中泛化（避免过拟合到 2–3 个示例的狭窄措辞，解决底层架构问题）、保持提示精简（阅读执行记录而非只看最终输出，删除导致浪费轮次的指令）、解释原因（用有原则的解释替代 rigid 禁令）、捆绑重复辅助脚本到 scripts/ 并指示技能执行、重新运行并比较（快照上一迭代，运行到 iteration-<N+1>/，启动查看器对比）。当需要更严格验证时，可使用盲比较 Agent（用结构化内容和结构评分表 1–5 分、总体 1–10 分评估两个匿名输出）、事后分析 Agent（解除盲标、比较记录、检查指令遵循、识别胜者优势与败者弱点）和统计分析（均值、标准差、方差）。
技能输出质量达标后，优化 description 以提高触发精确度：生成 20 个真实用户查询（8–10 个应触发、8–10 个不应触发）保存到 trigger-queries.json，查询需具体丰富（文件路径、公司名、列标题、拼写错误、缩写、背景故事），应触发查询覆盖多样措辞、随意口语、隐含意图及竞争场景，不应触发查询应选择临近错失的难负例而非简单负例；与用户评审查询后，运行 60/40 训练/测试留出分割的自动优化循环。