用途:对已存在的 Agent Skill 做可度量的质量改进,流程为基线→度量→受控编辑→重新校验,结合本地工具、Codex plugin-eval(若已安装)与 SkillOpt 式研究循环。
适用场景:技能触发错误或从不加载(description 路由问题);SKILL.md 臃肿、token 成本高、效果弱;新增流程后需要回归检查;把 product MCP / plugin-eval 的研究模式移植到 Skill Steward 技能。
不适用:批量仓库校验应只用 pnpm run validate;不用于自动化 SkillOpt / 聚类训练(仅手动受控编辑循环,无通宵优化器);创建新技能应先用 skill-authoring-lifecycle。
主要能力(评估栈,按成本从低到高):第 0 层门禁用 pnpm run validate 与 pnpm run validate:json;第 0b 层规则用例用 pnpm run eval、pnpm run eval -- --skill <name>、pnpm run eval:json;第 1 层静态分析用 Codex plugin-eval,如 plugin-eval start skills/<name> --request "Evaluate this skill." --format markdown、analyze、explain-budget、init-benchmark、benchmark --dry-run;第 2 层人工提示词套件需 3–5 条代表性 prompt,分约 60% 训练 / 40% 留出;第 3 层 SkillOpt 式受控编辑:基线→带技能度量→反思失败模式→受控编辑(≤10% 行改动或一个新小节,不整体重写)→仅重跑留出,改进才保留→记录到 references/evals.md 与 sources.md;第 4 层生态基准(SkillsBench、skillgrade 等);第 5 层运行时 dogfood 用 steward benchmark --scenario <id> --json,基于确定性 trace 断言。
使用方式:按改进清单依次执行——sources.md 引用 plugin-eval + SkillOpt(若使用)、pnpm run validate、T1 行为关键技能跑 pnpm run eval 并更新用例、可选 plugin-eval analyze、在 references/evals.md 记录 3+ 提示词评测、应用受控编辑且留出集改善、走 skill-authoring-lifecycle 清单、PR 说明 eval delta。典型修复顺序:name/description 路由、断链/缺失 sources.md、重复规则先删或替换再新增、把大块移到 references/(SKILL.md < 500 行)、补充代理常跳过的错误处理/校验、关注 token 成本。
限制与反模式:CI 不运行 LLM judge,主观质量留在 references/evals.md;不要因一次失败重写整个 SKILL.md;不要无留出提示自编辑(过拟合);不要在一次运行后未尝试 FAQ、错误信息、原生命令、效果检查或删除就新增规则/评测/工具;不要仅静态分析而不跑真实 prompt;通过 pnpm run eval 不代表代理行为已被证明。安装命令:npx skills add arenukvern/skill_steward --skill skill-eval-improve。