SuperAPI AI 工具集

rewardkit

智能体与模型

查看项目

更新于 10-16 05:50

技能介绍

用途:Reward Kit 是用于编写 Harbor 任务验证器的轻量级 Python 包,将 tests/ 目录中的条件文件转为奖励分数,生成 reward.json 与 reward-details.json。

主要能力:支持内置程序化检查(文件、命令、JSON/CSV/XLSX/SQLite、HTTP、图像、轨迹)、@criterion 自定义函数、LLM 评审、智能体评审(CLI 探索文件系统)以及 JEV 评审;支持 criterion 类型 binary、likert、numeric、rubric,并可设权重、隔离运行、超时、提示模板、样本中位数与 guard 防护。

使用方式:在 tests/ 放置 checks.py、judge.toml 与 test.sh,test.sh 内容为 uvx --from 'harbor-rewardkit==0.2.*' rewardkit /tests;在任务工作区 /app 上运行并写入 /logs/verifier/reward.json。子目录各自成为独立奖励维度,根级 reward.toml 可聚合维度;多步骤任务每步各自运行并由 Harbor 聚合。

适用场景:为 Harbor 编码任务或智能体任务编写可组合的评分标准,区分正确性、结构、质量等维度,或用 LLM、智能体对主观质量打分。

限制:judge 若调用外部 API 需要公网或白名单;程序化本地读取可用 no-network;分离模式需单独 verifier 镜像并提供 /tests/test.sh;JEV 需 jev 额外依赖与 TYPESAFE_API_KEY,且镜像需含 CA 证书;多智能体评审需 isolated=true 与 fuse-overlayfs 及挂载权限。