SuperAPI AI 工具集

skill-eval-builder

通用与其它

查看项目

更新于 10-15 21:08

技能介绍

用途:为某个技能建立小型、真实的评估,衡量脚本无法确定的行为——技能是否该触发时触发、不该触发时保持安静,输出是否有效,是否在时间预算内。核心理念是“评估是一个文件夹,不是框架”。

主要能力:在目标技能(含 SKILL.md 的目录)旁生成 evals/ 工件,包含用例、运行脚本与记分卡;支持 invocation(触发)、validation(校验)、duration(时长)等维度;可对分类门做专项测试,输出准确率与混淆矩阵记分卡。

使用方式:脚手架命令为 python3 "${CLAUDE_SKILL_DIR}/scripts/scaffold-evals.py" <target-skill-dir>,随后在 evals/cases.md 填入 3–5 个真实用例(含至少一个不应触发的安静用例)。先跑 python3 <target-skill-dir>/evals/run.py --dry-run 检查用例能否解析,再跑 python3 <target-skill-dir>/evals/run.py 实际运行(会调用 claude -p)。测试分类门时加 --classify,填入 evals/classify-cases.md 的标签、门的指令与带标注的真实样例,再跑 python3 <target>/evals/classify.py 得到准确率与混淆记分卡。

适用场景:需要验证技能触发时机、输出有效性与时间预算,或测试技能开头的分类门(如区分缺陷与需求)。

限制:运行脚本需要 python3 与 claude CLI,可能受操作系统限制;技能评估会运行模型,结果并非逐字节一致,这种方差正是被测量的对象;不应评估确定性脚本已能保证的内容(应改为单元测试脚本)。若脚本无法运行,可用任意可用工具手动运行用例并统计记分卡。