用途:Eval Author 的发现(discover)环节,读取 eval-author 共享标准、术语与边界,判断某仓库的 Harbor 与 NeMo Gym 评测是否就绪,用四阶段验证而非猜测。
主要能力:四阶段依序执行——Probe 检测当前解释器能导入 Harbor 还是 NeMo Gym,两者皆无则停止;Explore 查找仓库自有的配置、数据集、任务与 Gym manifest,统计任务数量与主题;Judge 让 Harbor 校验每个配置和数据集(先转换 Gym 扩展任务),Gym 对数据存在的 manifest 运行 gym env validate;Solve 对通过 Judge 的最多 4 个数据集/manifest 各取最多 4 个任务端到端运行,Harbor 用 oracle agent 在 Docker 中跑,Gym 用 gym env test,任务完成且获得奖励才算通过。报告的 phases 字段记录每阶段 valid、invalid 或 skipped;无 Harbor 时 Harbor 结论标记为未证实,并给出需安装的失败项,除非仓库只有 Gym manifest 且已安装 Gym。
使用方式:脚本指向仓库根目录而非套件目录:"${harbor_python:?Select a Harbor interpreter using the probes above}" <skill_dir>/scripts/discover.py --repo .;可用 --compact 输出单行 JSON。退出码 0 表示 Judge 检查的配置、数据集和 manifest 全部通过且 Solve 无失败,1 表示必需检查失败、缺少运行时或路径不可用。先读 phases、proven、runnable、run_command 四个字段;仅当仓库只有一个可运行配置时才提供 run_command。可用 render_report.py --summary 生成摘要。
适用场景与限制:适用于仓库评测就绪性发现、内部配置校验与只读发现请求。只应对可信仓库运行——Judge 会导入任意 agent import_path,Solve 的 gym env test 会在宿主机安装依赖并运行验证器,且留下 resources_servers/<name>/.venv。仅按文件检查的 Explore 不加载或运行运行时检查;缺失 Harbor 会阻塞 Harbor 任务的 Judge 与 Solve,不影响 Explore。安装需用户授权。Docker 不可用时应报告无法验证就绪,不要自行启动服务。资料未提供具体收费、平台与性能细节。