用途:为 Harbor 任务编写验证器(verifier),把 tests/ 目录中的 criteria 文件转换为奖励分数,用于评分与判定任务完成质量。
主要能力:支持程序化 criteria(内置文件、命令、数据、HTTP、图像、轨迹等检查函数,均支持 weight 与 isolated 参数),支持用 @criterion 装饰器编写自定义 criteria,支持 LLM judge 与 agent judge(TOML 配置,criterion 类型有 binary、likert、numeric),支持多奖励子目录与维度聚合(weighted_mean、all_pass、any_pass、threshold),输出 reward.json 与 reward-details.json。
使用方式:在任务 tests/ 目录放置 test.sh、checks.py、judge.toml;test.sh 中运行 uvx --from 'harbor-rewardkit==0.1.*' rewardkit /tests,对 /app 工作区执行 criteria 并写入 /logs/verifier/reward.json。judge 需要 API key 时通过 task.toml 的 [verifier.env] 传入。可选择共享环境或独立 verifier 环境(environment_mode = "separate"),独立模式下 tests/ 是 verifier 镜像构建上下文,需在运行时提供 /tests/test.sh。多步任务中每步各有 tests/,由 Harbor 的 multi_step_reward_strategy 在 Reward Kit 之外聚合。
适用场景:需要为 Harbor 任务添加评分标准、设置 LLM/agent judge、区分正确性/结构/质量等维度评分时。
限制:图像与 xlsx 检查需安装 extras(uv tool install harbor-rewardkit[all]);agent judge 比 LLM judge 更慢更贵;跨步骤逻辑不应写入 criteria;资料未提供价格、平台支持范围等更多信息。