用途:Harbor Benchmarks 面向数学评测的构建与运行,把有意义的、面向智能体的数学任务连同可重放结果放入 Harbor,任务范围可包括能力缺口与无工具基线。它的定位是作者/打包/校验/运行齐备的评测工作流,而不是单纯的基准榜单。
主要能力与组织方式:任务以数据集子项形式组织,路径为 benchmarks/datasets/<dataset>/<task-id>/,成员记录位于 benchmarks/datasets/<dataset>/members/<task-id>.toml。任务说明与 schema 必须暴露完整协议,同时隐藏解答、Oracle 夹具、验证器代码与宿主机缓存。资料还建议:把提供方/环境可行性验证放在 tests/fixtures/providers/;将公开的已知答案回归与人工评审的证明语料同留出的比较评分分开存放。涉及提交设计、数学谓词、评分或验证器修复时使用 verifier-evaluations;普通打包与执行不需要该技能。
使用方式:使用冻结的离线输入、固定镜像与依赖,以及显式执行配置;验证器 Dockerfile 从 tests/ 构建,避免父级 COPY、宿主路径、浮动标签与符号链接。资料给出的本地命令包括 make harbor-plan BASE=origin/main、make harbor-prepare-task DATASET=<dataset> TASKS="<task-id>"、make harbor-validate-task DATASET=<dataset> TASKS="<task-id>"。其中准备步骤会格式化所选任务的 Python 并刷新契约/校验和;校验步骤在没有模型智能体的情况下运行所选的静态、宿主与 Oracle 检查。验证器契约变化时应运行其行为攻击测试;若有受影响的 Oracle 覆盖被推迟,需要报告。契约变更不应自动创建快照。
适用场景与限制:适合需要可重放、可比较的数学任务评测,以及需要隐藏验证逻辑的评测发布。资料明确区分本地验证与因果模型比较:模型调用与对外发布需要相应用户授权;任务准备与验证应在授权范围内修复由改动引入的失败,并报告命令、任务摘要、所选范围、Oracle 结果与剩余证据缺口。资料未提供具体价格、许可或平台支持信息,暂未提供。