用途:向 Hugging Face 模型仓库添加结构化评测结果,采用 .eval_results/ 格式。结果会显示在模型页面并附基准链接,分数汇总到基准数据集排行榜,社区可通过 Pull Request 贡献。注意:评测 PR 只能在 Hugging Face Hub 上创建,不能在 GitHub 仓库上创建。版本 3.0.0。
主要能力:使用 HF CLI(hf upload、hf download)进行 PR 操作;在 /tmp/pr-reviews/ 手动创建 YAML;用 check_prs.py 检查已有 PR;用 curl 获取模型卡和排行榜数据。
关键规则:同一基准可有多个分数(有/无工具),每个变体必须单独文件。默认(无工具)用 hle.yaml 且省略 notes;有工具用 hle_with_tools.yaml 并加 notes: "With tools"(大写 W)。
核心流程:先运行 uv run scripts/check_prs.py --repo-id "org/model-name" 检查已有 PR,存在则更新而非新建;用 curl 获取模型 README 并提取分数;创建 YAML 文件;用 hf upload ... --create-pr 创建 PR;再次运行 check_prs.py 获取 PR 编号。更新已有 PR 时用 hf download 指定 --revision refs/pr/<PR_NUMBER> 下载,编辑后再 hf upload 到同一 revision。删除文件需用 Python API 的 api.delete_file。
YAML 格式:dataset.id(Hub 基准数据集 ID)、task_id(数据集 eval.yaml 中的任务 id)、value(指标值)为必填;date、source 可选。支持的基准包括 HLE(cais/hle,hle)、GPQA(Idavidrein/gpqa,diamond)、MMLU-Pro(TIGER-Lab/MMLU-Pro,mmlu_pro)。工具型智能体模型(如 MiroThinker、Nemotron-Orchestrator)应使用 hle_with_tools.yaml 并加 notes。
环境:需设置 export HF_TOKEN="your-huggingface-token"。最佳实践:创建前先检查已有 PR;变体分文件;仅非默认评测加 notes;提交前核对模型卡分数。