SuperAPI AI 工具集

harbor-adapter-creator

数据与分析

查看项目

更新于 10-15 22:12

技能介绍

用途:把已有外部基准数据集转换为 Harbor 标准任务目录,每个基准实例生成一个独立任务目录,便于在 Harbor 中复现评测并跟踪与原基准的一致性(parity)。

主要能力:提供 harbor adapters init 脚手架(交互式 AdapterWizard,可非交互),生成适配器目录结构,包括 adapter.py、run_adapter.py、run_<adapter-id>.yaml、README.md、parity_experiment.json、adapter_metadata.json 与 template/(task.toml、instruction.md、environment/Dockerfile、tests/test.sh、solution/solve.sh)。适配器类需实现 NAME 属性、make_local_task_id 静态方法与 generate_task 方法。

使用方式:运行 harbor adapters init my-benchmark 生成骨架,再运行 harbor adapters validate adapters/my-benchmark 校验。run_adapter.py 为 CLI 入口,默认输出到 datasets/<adapter-id>,支持 --output-dir、--task-ids、--ids-file、--limit。test.sh 必须把奖励值写入 /logs/verifier/reward.txt,可选写 reward.json。

适用场景:已有大量实例、任务结构相同仅数据不同、需要与原基准保持评测一致性的基准移植。任务少于约 10 个或每个任务结构独特时,建议直接创建任务。

限制:资料未提供安装方式、收费与价格信息;校验要求所有模板文件、parity_experiment.json、adapter_metadata.json 与 README.md 齐备,YAML 作业配置不被校验但用于一致性实验。