SuperAPI AI 工具集

instruction-eval

编程与开发

查看项目

更新于 10-15 22:38

技能介绍

用途:评估对技能(skills)和 CLAUDE.md 文件的修改是否改善或损害 Claude 的运行表现,尤其适用于精简或重构指令内容之后。

主要能力:提供两种模式。抽查模式为交互式,在 Claude Code 新会话(无累积上下文)中按 references/test-cases.md 的用例逐条提问,对照预期行为标记 Pass/Partial/Fail 并记录失败模式,重点识别静默缺口、路由失效、约束漂移。自动化模式由 scripts/run-eval.py 驱动,自动发现所有 tests.yaml 并向 Anthropic API 发送探针。

使用方式:先安装依赖 pip install anthropic pyyaml,再运行 python .claude/skills/instruction-eval/scripts/run-eval.py。可用 --skill app-template 或 --skill repository 只跑单个技能,--category constraint 跑某类探针,--list 仅列出,--json > eval-report.json 输出供 CI 使用。测试文件位于 .claude/tests.yaml(CLAUDE.md 行为测试,前缀 REPO-、INFRA-、K8S-、GHA-)及各技能目录下的 tests.yaml(如 APP-、EVL-)。评分规则:PASS 为必需关键词全部匹配且至少一个 any_of 匹配且无禁用词触发;PARTIAL 为部分必需关键词缺失需人工复核;FAIL 为必需关键词缺失或出现禁用词。

适用场景:为技能或 CLAUDE.md 改动创建 PR 前、大批量修改后、每月例行检查、用户反馈 Claude 行为异常时。

限制:资料未提供具体价格、平台支持范围及探针数量等细节。