用途:skill-evaluator 用于审查 Thinking Skills 中的失败案例与黄金案例候选,给出最小且有用的改进或保留建议。它默认不重写技能,而是诊断案例、提出评估覆盖、检查过拟合或冲突,并建议最小补丁或保留方案。
适用时机:用户反馈某技能响应有问题;路由器选错技能;领域技能用错模式;响应过长、过于临床、过于技术、过浅或过于偏向解决方案;提问过多;暴露过多方法库术语;安全边界被漏掉或过度触发;用户认为某响应特别好并询问是否保留;黄金案例可能与失败案例或现有规则冲突;技能似乎丢失了原有良好行为;需要决定是打补丁、加评估还是重构。
方法基础:核心包括失败分类法、黄金案例保留、回归案例思维、最小补丁纪律、路由器与领域职责划分;支持项包括技能编写清单、评估模式、变更日志纪律;安全项包括不保留私密原始对话、存储前抽象敏感示例、不将完整文章草稿或敏感材料保留为黄金案例、优先处理安全边界失败。
输入检查:在可用时检查用户反馈、坏响应或失败摘要、相关 SKILL.md、可能涉及路由时的路由规则、现有评估案例,以及 docs/failure-taxonomy.md、docs/eval-schema.md、docs/improvement-loop.md、docs/golden-cases.md 等相关文档。若原始对话敏感,则基于抽象摘要工作。
输出语言:所有面向用户的评估输出应匹配用户当前语言。输出格式为结构性而非固定英文模板,标题、字段标签和建议应翻译为用户语言;仅在需要精确标识符时保留原始英文失败代码或技能标识,并先用用户语言解释。
评估流程:用一段话重述案例;判断是失败、黄金候选、混合案例还是普通反馈;失败则按失败分类法分类;黄金候选则识别可复用行为及是否值得保留;检查与现有失败案例、黄金案例、评估或技能规则的冲突;决定变更归属(路由器、领域技能、方法基础、评估缺口、黄金案例、平台适配器、文档);检查现有评估或黄金案例能否捕获或保留;提出一个新评估、评估更新、黄金案例或技能规则更新;提出最小有用补丁或保留动作;识别过拟合风险;建议立即打补丁、保留为黄金案例、收集更多示例、重构或丢弃。
失败评估流程:用一段话重述失败;按失败分类法分类;决定归属;检查现有评估能否捕获;提出一个新评估或评估更新;提出最小有用补丁;识别过拟合风险;建议立即打补丁、收集更多示例或重构。
黄金评估流程:用一段话重述可复用行为;确认它不只是表扬或一次性满意;定义适用条件与不适用条件;检查与现有失败案例或规则的冲突;建议一种结果(转为评估、修补技能规则、保留为黄金案例、作为普通成功丢弃);识别回归风险。
输出格式:诊断部分含失败摘要、失败类型、可能来源;评估缺口部分含现有评估覆盖、新评估或更新评估;补丁计划部分含最小有用变更、可能受影响文件、风险、建议。黄金候选使用黄金诊断(可复用行为、适用条件、不适用条件)、冲突检查(潜在冲突、解决方式)、保留计划(建议结果、可能受影响文件、回归风险)。
补丁纪律:优先添加或调整一个评估;仅当行为可复用时添加或精炼一个黄金案例;澄清一个模式边界;添加一个触发或反触发;缩短或简化一条输出规则;将大量重复材料移入参考文件。避免:为一个失败重写整个技能;添加大量新理论章节;未检查范围就将用户偏好视为通用;将表扬记录为黄金案例;保留原始对话、完整文章或私密草稿;使技能比领域所需更僵化。
常见错误:未诊断就直接编辑;技能指令不清时归咎模型;只加规则不加评估案例;路由器错误却修领域技能;领域技能模式错误却修路由器;在案例中保留原始敏感对话;对某用户措辞过拟合;让黄金案例与失败案例冲突而不添加适用条件。