SuperAPI AI 工具集

skill-reliability

智能体与模型

查看项目

更新于 10-15 10:31

技能介绍

Skill Reliability Analysis 是一个面向 Agent Skill 的可靠性分析技能,其目标是评估一个技能是否既能被正确触发,又能完整执行完毕,并给出可验证的修复建议。

核心模型 该技能把技能的有用性定义为两个概率的乘积:P(useful) = P(triggers correctly) × P(workflow completes | triggered)。其中第一个因子是触发可靠性,由流程的第 3 步评分;第二个因子是复合工作流可靠性,由第 4 至第 5 步评分。具体步骤性质、基线、层级以及三个可靠性杠杆记录在 framework.md 中。

触发方式 用户可以使用命令 /skill-reliability <skill-name> 分析指定名称的技能;也可以用 “steps vs reliability”“hit rate”“trigger precision”“confiabilidade” 等说法针对某个技能发起分析。

工作流程 整个流程共分 8 步:

  1. 定位技能:若参数为空或请求范围过宽(如“所有技能”“从哪个技能开始”),先读取 discovery.md 确定范围;否则按顺序在当前仓库的 skills/ 子目录、.claude/skills/、~/.claude/skills/ 中解析技能路径。找不到时告知用户并停止。
  2. 读取技能文件:读取 SKILL.md 以及 references/ 下的所有文件(存在 instructions/ 时也读取),完整构建技能定义的全部工作流图景。
  3. 触发可靠性:先运行确定性 linter:python3 <this-skill>/scripts/trigger_lint.py <skill-dir>;随后按 trigger-eval.md 用显式、隐式、否定和模糊请求探测 name + description,推理“触发”与“应触发”的差异,并在探测落空时起草 description 修复。最终给出 Clean / Leaky / Narrow 判定以及可能的改写。
  4. 映射步骤:用 python3 <this-skill>/scripts/inventory.py <skill-dir> 确定性地枚举工作流及其编号步骤,并按 framework.md 为每一步分配 Nature、Baseline 与 Risk。
  5. 评估复合可靠性:把各基线相乘得到端到端乘积和层级,把数值传给 inventory.py --product "<b1> <b2> …" 做确定性算术,并保持每步基线可见以便审计。对链式技能(commit → PR → finish)还要计算全链路乘积。
  6. 识别方差最高的三个步骤,每个步骤写成一个带标签的块,包含:失败模式(具体出错的坏输出,而非“它会波动”)、为何波动(步骤性质及其内部复杂度)、杠杆(scripts / idempotence / explicit I/O)、建议(具体修复;若为触发修复则给出可直接粘贴的 description 改写)、预期收益(基线变化及其对工作流乘积的影响)。
  7. 输出分析:按 output-template.md 中的严格模板生成报告。
  8. 应用修复:仅在用户确认后才应用变更。description 改写直接写入目标 SKILL.md;工作流或脚本变更按请求逐项实现,每项完成后重新运行其验证检查。无法说明验证步骤(第 7 步)的变更不得应用。

准则

  • 只能使用 framework.md 中的步骤性质分类,不得自创类别。
  • 提示驱动的防护(如“discard X”“block Y”)永远无法与结构化隔离相提并论,必须指出。
  • 条件分支按条件基线算作一个步骤,而非多个。
  • 链式工作流的每个编号子步骤单独计数。
  • 触发可靠性是链条的门槛:Leaky 或 Narrow 判定会封顶 P(useful),无论工作流得分多高。
  • 每条建议都带有预期收益和验证步骤;不得提出无法验证的变更。