SuperAPI AI 工具集

woostack-eval

通用与其它

查看项目

更新于 10-15 22:14

技能介绍

用途:对单个技能包运行冻结的行为与触发语料评估,生成可对比、带回执的证据,同时不改动被评估的实现。

主要能力:支持行为评估、触发评估或全部评估三种模式;支持基线引用或基线路径对比;默认运行 3 次,可设为 1 至 10 次;通过校验、准备、聚合与报告渲染脚本进行确定性本地证据处理,脚本不直接调用任何模型接口或网络客户端。

必要用法:调用形式为 /woostack-eval <skill-path> [--behavior | --triggers | --all] [--runs <1..10>] [--baseline-ref <git-ref> | --baseline-path <skill-dir>]。三种模式互斥,全部省略时使用 --all;--baseline-ref 与 --baseline-path 互斥。准备阶段使用 node "$EVAL_SKILL_ROOT/scripts/prepare.mjs" --target "$TARGET_SKILL" --mode "$MODE" --runs "$RUNS",并按需附加基线参数;校验使用 node "$EVAL_SKILL_ROOT/scripts/validate.mjs" --package "$APPROVAL_PACKAGE_SNAPSHOT" --repository-root "$APPROVAL_CONTAINING_ROOT" --json。

限制:语料需经校验并显式批准摘要后才能写入或派发;比较配对不可拆分;工作者仅获得批准的工作区能力,不直接写证据;评分者上下文不获任何能力;宿主不受支持或比较隔离无法证明时,只能降级为候选单侧定性冒烟,不构成基准。未在资料中提供的平台、收费与价格信息暂未提供。