SuperAPI AI 工具集

eval-run

通用与其它

查看项目

更新于 10-15 20:27

技能介绍

用途:对 AI 应用做可复现评测,基于已审查用例与已验证评分器运行,产生可靠 trace、用量核算和可续跑结果。

主要能力:运行已审查用例;复用真实应用入口与现有 runner;检查用例、标准、版本、切分、fixtures 与目标声明;配置用例数、重复次数、应用/评判设置、并发、超时与重试;试运行单用例;增量写入记录;有界并发、抖动重试、单用例时限与干净取消;区分执行错误与可评分结果;按指纹续跑;从原始记录重算聚合;提供精确重跑命令与配置;附带工件助手可校验可移植记录、检查导出、生成分组切分,但不能替代应用运行器。

使用方式:运行该技能的工作区安装器,保留既有自定义文件;托管路线在确认连接 schema 后使用具体服务操作。先准备并试运行一个已授权用例,检查实际输出、trace、评分、模型身份、时序与用量,确认未知字段未被静默置零。支持托管则用宿主后台执行并产出进度工件,不用子智能体等待 shell 命令。完成与否以保存计数为准。

限制:付费范围需事先确认,预算变更不等于继续授权;未知字段、缺失指标与截断需显式说明;部分通过不得呈现为完整运行;中断续跑仅在用例、应用、评分器与运行指纹未变时有效;报告需转义不可信文本;更多本地工具与命令见 toolkit setup,托管运行见 managed guidance。