SuperAPI AI 工具集

skill-release-gate

测试与质量

查看项目

更新于 10-16 10:10

技能介绍

用途

skill-release-gate 是一个发布前的审核技能,适用于在发布或分发 Agent Skill 目录包之前运行。它的目标是评估候选技能包的结构完整性、触发质量、工件改进、脚本正确性、安全性、已安装树完整性以及运行时能力,从而决定是否达到可发布状态。

主要能力

该技能覆盖多个评估层面:

  • 结构完整性与已安装树完整性:通过清单哈希校验目标包中的文件。
  • 触发质量:检查 evals/cases.json 中的正向触发与近似误触发用例。
  • 工件改进:检查 evals/artifacts.json 中的共享基线与 with-skill 断言。
  • 脚本正确性与安全性:检查 evals/evidence.json 中的显式脚本与安全结果。
  • 运行时能力与可移植性:检查 assets/hosts.json 中声明的运行时能力,并对照 assets/manifest.json 校验目标文件哈希。
  • 发布门禁:结合本地证据、可信锚点和生产就绪状态给出综合判定。

使用方式

工作流要求:将 SKILL_ROOT 解析为包含已安装 SKILL.md 的绝对目录,不假设进程 cwd 就是已安装包;从原始工作区工作目录解析 TARGET_ROOT,并将用户提供的候选解析为绝对 TARGET_BUNDLE。随后读取 SKILL_ROOT 下的 references/eval-contract.md,检查 TARGET_BUNDLE 下的 evals/cases.json、evals/artifacts.json、evals/evidence.json,以及 assets/hosts.json 和 assets/manifest.json。

生产模式下,需用采集到的真实结果替换确定性预测、工件、证据和宿主能力,设置全部四种采集模式,并将每个原始触发观察、两个工件、完整证据集和非空宿主矩阵绑定到非空来源与匹配的 SHA-256 溯源摘要。这些本地检查可设置 localEvidenceReady,但本地可重算哈希不能证明采集。

还需获取外部 JSON 证明,其 evidenceRoot 与报告匹配,并从单独的可信策略或发布通道获得其精确字节的 SHA-256;该证明必须是目标包之外的正规文件。执行前需展示精确解析的 argv:已安装评估器为 SKILL_ROOT 下的 scripts/evaluate_skill.py;对随附教学夹具,argv 由 python3、该评估器绝对路径、--fixture-demo 和绝对 TARGET_BUNDLE 组成;生产模式使用同一已安装脚本,配合 --attestation、--trusted-attestation-sha256 和绝对 TARGET_BUNDLE,不带 --fixture-demo。

输出契约要求返回完整 JSON 评估报告,保留每一层的检查与证据,使聚合通过无法掩盖路由、工件、脚本、安全、已安装树或可移植性失败。fixturePassed 表示教学夹具成功;localEvidenceReady 仅表示本地摘要完整性;passed 仅在 productionReady 同时具有有效的包外信任锚点时为 true。

适用场景

  • 在发布或分发 Agent Skill 目录包之前进行合规与安全检查。
  • 在本地教学夹具中验证评估流程,但不据此作出发布声明。
  • 在生产发布流程中,结合外部可信证明完成最终门禁判定。

限制

如果配置无效、溯源缺失或不匹配、可信证明缺失或无效、文件哈希不一致、缺少必需能力,或任何生产门禁失败,应停止并返回非零结果,报告失败层面。--fixture-demo 路径仅在 fixturePassed 为 true 时可能成功退出,且绝不作出发布声明。该技能不得自动发布、安装到别处、修复证据、创建信任决定或放宽阈值。不得仅因 SKILL.md 可解析或单个正向提示可激活就发布候选包;也不得在目标丢失必需伴随文件或忽略必需运行时扩展时将其标记为可移植。