用途:对不在 FrontierHarness v1.0 已发布集合中的第三方编码智能体 harness 进行评测,使其结果可与 results/eval-data.json 中的十二个基线配置并列比较。
主要能力:通过 npx skills add frontier-harness-eval/eval --skill frontierharness-eval 安装技能与脚本(不含仓库任务定义与基线结果)。流程包括:创建无 agent 预设的干净运行时、按 commit 固定克隆 harness 仓库、安装并冻结基准栈为 golden checkpoint、从全新恢复运行试验并保存轨迹、生成对比图、构建并分享报告。模型固定为 Kimi K3,provider 可选 fireworks(默认)、moonshot、openrouter、together 或 custom。
必要用法:先确认 runta --version、runta checkpoint ls、jq --version 与 node --version(node >= 18)。向用户收集 harness 名称与版本、GitHub 仓库与 commit、任务子集。设置 FH 为已安装技能 scripts/ 目录的绝对路径。用 provision-golden-checkpoint.sh 完成步骤 1-3,用 run-trials.sh 运行试验,用 normalize-results.mjs 与 generate-chart.mjs 生成图表,用 build-report.mjs 生成报告。
限制:租户共享上限为 32 vCPU 与 64 GB RAM,需留余量;默认顺序运行试验。子集结果不可与已发布排行榜比较;新运行默认 methodology_comparable: false 且无排名。不得在 checkpoint 前执行正式任务。缺失信息(如具体任务清单、基线分数)暂未提供。