用途:为技能、智能体、工具仓库或 RAG/检索流水线判断是否需要自动化评估,并搭建可维护的最小评估骨架。
主要能力:提供 ASSESS(只读评估并推荐框架或建议不评估)、SCAFFOLD(按批准框架搭建骨架)、AUDIT(对已有 evals/ 目录做衰减检查)、EXTEND(为已有评估添加指标与夹具)四种模式。默认优先确定性检查(解析器、编译器、schema、测试运行),LLM 评审需显式启用;阈值先记录基线再设定;金标准由实时 schema 生成而非手写。
使用方式:先检测目标类型(含 SKILL.md 为 skill,含包清单的仓库为 tool-repo),再按意图选择模式。评估时读取目标并运行可验证性门控,推荐框架并给出理由与 token 成本估算,设计测试矩阵后等待批准;批准后复制模板、生成最小骨架、接入构建并交接校准说明。
适用场景:为技能或 RAG 流水线添加评估、审计已有评估、扩展指标。限制:工具仓库支持仅面向 RAG/检索流水线,其他类型只推荐并交接;无法从文件反推流水线,需与开发者确认阶段与调用方式;RAG 金标准必须人工整理;不评估主观审美输出,建议人工评审清单。