SuperAPI AI 工具集

skill-eval-improve

智能体与模型

查看项目

更新于 10-15 17:17

技能介绍

用途:以「基线→测量→有界编辑→重新验证」的循环可量化提升技能质量,解决技能触发错误或从不加载、SKILL.md 臃肿与 token 成本高、新增流程后需要回归检查、以及将 MCP/plugin-eval 研究模式移植到 Skill Steward 技能等问题。不适合批量验证仓库全部技能、自动化 SkillOpt/集群训练,以及创建新技能(应先用 skill-authoring-lifecycle)。

主要能力与分层评测:第0层为门禁,运行 pnpm run validate 与 pnpm run validate:json,修复所有 error,认真对待 warn;T1 行为关键技能需 pnpm run eval 加 evals/cases/*.yaml(至少2个)与 references/evals.md。第0b层为规则用例,可用 pnpm run eval -- --skill <name>、pnpm run eval:json,CI 不运行 LLM 评判。第1层为本地 Codex plugin-eval,命令包括 plugin-eval start skills/<name> --request "Evaluate this skill." --format markdown、plugin-eval analyze、explain-budget、init-benchmark、benchmark --dry-run。第2层为人工提示集,需3至5个代表性提示,约60%训练/40%留出。第3层为 SkillOpt 风格有界编辑:建立基线、记录通过率、反思失败模式、每次改动不超过10%行或仅加一节、仅在留出集改善时保留;论文 https://arxiv.org/abs/2605.23904。第4层为生态基准如 SkillsBench、skillgrade。第5层为运行时 dogfood 基准,使用 steward benchmark --scenario <id> --json。

使用方式:按清单依次执行来源引用、验证、T1 评测与用例更新、可选 plugin-eval analyze、在 references/evals.md 记录3个以上提示评测、有界编辑并通过留出集、完成 skill-authoring-lifecycle 清单,并在 PR 中说明评测差异。修复顺序通常为名称/描述路由、失效链接与缺失 sources.md、删除或替换重复规则、将大段内容移入 references/(SKILL.md 少于500行)、补充代理常跳过的错误处理与验证步骤、控制 token 成本。

限制:不使用隔夜优化流水线;CI 不使用 LLM 评判;不能仅凭静态分析判断行为;仅通过 pnpm run eval 不代表已证明代理行为;避免从单次失败重写整个 SKILL.md、无留出集自编辑、针对重复指导新增评测、无来源引用就下结论。安装:npx skills add arenukvern/skill_steward --skill skill-eval-improve。