SuperAPI AI 工具集

harness-bench

测试与质量

查看项目

更新于 10-15 22:34

技能介绍

用途:为 harness-evolve --bench 提供配套的 bench 动词,让进化过程针对固定语料评分,从而在不同提交或同一 harness 的不同分支间得到可比较的冠军适应度。适合 npm test 不稳定、过慢或规模不足的仓库,先一次性搭建确定性 bench 套件,再反复用于进化;也可在 CI 中对受影响的套件执行 bench verify(约 5 秒),或把 harness 迁移到新领域时复制并编辑套件。

主要能力:--op create 解析 --repo 路径,路径缺失则拒绝,随后调用 metaharness-darwin bench create <repo> [--out <suite.json>],默认输出路径为 <repo>/.metaharness/bench/suite.json;套件为任务数组,每项含 input、expectedOutput、weight,任务由现有测试用例派生。--op verify 解析 --suite 路径,路径缺失则拒绝,调用 metaharness-darwin bench verify <suite.json>,任一任务格式错误即退出 1。输出形如 success、data(含 op、taskCount、wellFormed、durationMs)。

退出码:0 表示正常或降级(Darwin 缺失);1 表示 verify 时套件格式错误;2 表示配置错误或上游调用失败。降级行为:当 @metaharness/darwin 不存在时,输出标准 {degraded: true, reason: 'metaharness-darwin-not-available'} 负载并以 0 退出。实现位于 scripts/bench.mjs。

限制:资料未提供安装方式、收费、性能数据与支持平台等细节,暂未提供。