SuperAPI AI 工具集

j-rig-eval

智能体与模型

查看项目

更新于 10-15 22:41

技能介绍

用途:用 JRig 的二进制评估框架评估 Agent Skill,先返回发布决策,再引用失败或不确定性背后的证据。以观察到的行为为准,而非 SKILL.md 中的声明。

主要能力:默认评估五个维度;可选的回归与裸模型检查需要额外输入,成本约翻倍。决策含义:ship 表示所有评估的阻断项与神圣用例通过;warn 表示评估完成但有非阻断失败或不确定性;block 表示阻断项或神圣回归失败;obsolete_review 表示裸模型与技能表现相当,技能价值需复核。退出码 0 表示评估完成(含 warn、block、obsolete_review),1 表示包或运行时失败,2 表示评审路径失败或无法评估。

使用方式:前置条件为 Node.js 20 或更新版本并安装 j-rig,目标目录含 SKILL.md,有评估 spec(除非目标根目录含 eval-spec.yaml 或 eval-spec.yml,否则需传 --spec),并具备受支持提供商的真实凭据;stub 模式仅用于管道测试,不作为发布证据。先运行预检:j-rig check TARGET_SKILL --json。再运行评估:j-rig eval TARGET_SKILL --spec EVAL_SPEC --models MODEL_ID --provider PROVIDER_ID --json --emit-bundle EVIDENCE_JSON。仓库自用 spec 为 skill/eval.yaml,需显式传 --spec skill/eval.yaml。--emit-bundle 产物是经内核校验的 in-toto gate-result/v1 语句数组,每个模型一条,应随发布记录保存。

适用场景:技能评分、发布门禁、回归对比。

限制:--run-self-test 会执行 spec 指定的命令,属于目标控制的代码,需信任该命令;不得为通过而扩大执行权限。缺失默认 spec 时只能发现两个默认文件名。提供商或评审失败时保留证据并修复,不得用 stub 替代。退出码 2 时应报告未产生有效门禁决策。warn 或 block 后应修复指定标准,并用相同模型与选项重跑以保持可比性。资料未提供具体价格、平台支持范围与效果数据。