用途:把 nurb 基准仓库中已合并的提交,经人工编辑与校验后发布为公开排行榜页面。基准(任务、评分器、提交、REPORT.md)位于 Shpigford/nurb-benchmarks,公开页面 site/benchmarks.html 位于本仓库。提交 PR 可自由合并,但只有运行本技能后才会进入公开页面,这一间隔用于做校验和撰写结论。
主要能力与流程:
- 准备基准检出:在本仓库之外克隆或更新 Shpigford/nurb-benchmarks 的 main 分支,后续涉及提交、结论和 REPORT.md 的操作都在该检出中进行。
- 找出新增运行:用 git log -1 --format=%ci -- site/benchmarks.html 确定上次发布时间,再在基准检出中列出该时间之后合并的提交目录(git log --since=<date> --diff-filter=A --name-only -- submissions/ | grep results.jsonl)。每个 submissions/ 下的目录代表一次运行,含 results.jsonl、逐次试验的 gzip 转录和部件源码;若无新增则停止。
- 校验每次新运行:检查每行是否含 harness、harness_version、model、effort、seed、nurb_version、benchmark_version、12 位 benchmark_revision 和 timeout_s;benchmark_revision 必须对应真实发布过的版本。确认转录与部件源码齐全且已脱敏(解压后不得出现 /Users/、/home/ 或用户名)。将提交的部件文件与 tests/solutions/ 及其他提交做哈希比对,与参考解完全一致即取消资格。至少对每次新运行的一行重新评分,重建试验项目并运行评分器,分数必须完全复现。每位新贡献者读一份转录,确认无头前导、模型确有迭代、会话与耗时一致。未通过检查的运行以 PR 评论说明原因后移除,不静默处理;重新评分不一致时先核对 benchmark_revision。
- 结论:每个 (harness, model, effort) 组合应在基准仓库 src/nurb_evals/site.py 的 VERDICTS 中有条目,说明所用订阅和一两句可执行结论,须基于行与转录,不得推测;被截断或删失的数据要明确标注,不得平均后作为结论。
- 重新生成并发布:在基准检出运行 uv run python -m nurb_evals.report --write 和 uv run python -m nurb_evals.site --out <this-repo>/site/benchmarks.html,在浏览器中查看页面(截图而非 DOM 查询),然后分别向两个仓库提交 PR,不得直接推 main;PR 正文列出已发布和被拒的运行及原因。基准检出中 uv run pytest -q tests/test_report.py tests/test_pricing.py tests/test_contribute.py 必须通过。页面按站点既有方式部署,本技能职责止于 PR 合并。
限制:资料未提供具体收费、价格、平台支持范围或效果数据;本技能不修改评分器代码,完整评分套件仅用于守护评分器。