SuperAPI AI 工具集

skill-comply

智能体与模型

查看项目

更新于 10-15 10:24

技能介绍

skill-comply 用于自动测量编码智能体是否真正遵循技能、规则或智能体定义,回答“这条规则是否真的在被遵守”这类问题。

用途 该工具针对技能(skills//SKILL.md)、规则(rules/common/.md)和智能体定义(agents/*.md)三类目标进行合规测量。对于智能体定义,目前只验证智能体是否在预期时被调用,内部工作流的验证尚不支持。

主要能力

  • 从任意 .md 文件自动生成预期行为序列(spec)
  • 自动生成提示严格程度递减的场景:支持性 → 中性 → 竞争性
  • 运行 claude -p,并通过 stream-json 捕获工具调用轨迹
  • 使用 LLM(而非正则)将工具调用归类到 spec 步骤
  • 确定性地检查时间顺序
  • 生成自包含报告,内容包含预期行为序列、各严格程度下的场景提示、每场景合规得分,以及带 LLM 分类标签的工具调用时间线

何时使用

  • 用户运行 /skill-comply <path> 时
  • 用户询问“这条规则是否真的在被遵守?”时
  • 新增规则或技能后,用于验证智能体合规性
  • 作为质量维护的一部分定期使用

使用方式 完整运行:uv run python -m scripts.run ~/.claude/rules/common/testing.md 试运行(无成本,仅生成 spec 与场景):uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md 自定义模型:uv run python -m scripts.run --gen-model haiku --model sonnet <path>

关键概念 提示独立性:衡量即使提示词并未明确支持某项技能或规则时,该技能或规则是否仍被遵循。

报告内容 报告为自包含形式,包含自动生成的预期行为序列(spec)、各严格程度下实际提问的场景提示、各场景的合规得分,以及带 LLM 分类标签的工具调用时间线。

高级(可选) 对熟悉 hooks 的用户,报告还会为合规性较低的步骤提供 hook 提升建议。此部分仅供参考,工具的主要价值在于合规可见性本身。

限制 智能体定义目标目前仅验证是否在预期时被调用,内部工作流验证暂未提供。其他未在资料中说明的功能、收费、价格、平台与效果暂未提供。