SuperAPI AI 工具集

upload-parity-experiments

数据与分析

查看项目

更新于 10-15 22:12

技能介绍

用途:把 Harbor 平价/预言机(parity/oracle)实验结果发布到共享 Hugging Face 数据集 harborframework/parity-experiments,并获取讨论 URL 填入适配器的 parity_pr 字段。

主要能力:创建或复用数据集 PR;用稀疏检出(--depth 1 --filter=blob:none)只拉取目标 PR ref 和所需路径,避免全量克隆超大仓库;复制本地结果;确保大于 10 MiB 的文件被 Git LFS 跟踪;用原生 git push 直接推送到 PR ref;输出讨论 URL。

使用方式:先确保 Hugging Face 认证具备 discussion-write 权限(经典写令牌或启用全局 discussion.write 的细粒度令牌),否则 create_pr.py 会返回 HTTP 403。创建 PR:uv run python scripts/create_pr.py create-pr --title "Add parity experiments for <adapter_name>" --description-file /path/to/pr-description.md。随后初始化稀疏检出:git init、git remote add origin git@hf.co:datasets/harborframework/parity-experiments、git config core.sparseCheckout true、git sparse-checkout init --cone、git sparse-checkout set adapters/<adapter_name>、git fetch --depth 1 --filter=blob:none origin refs/pr/<number>:pr/<number>、git checkout pr/<number>。复制结果可用 rsync -a --delete --exclude '.git' --exclude '.cache' --exclude '.DS_Store' /path/to/local-folder/ adapters/<adapter_name>/。大文件用 (cd adapters/<adapter_name> && git lfs track "<pattern>") 写入适配器级 .gitattributes。提交推送:git add adapters/<adapter_name>、git commit、GIT_SSH_COMMAND='ssh -o ServerAliveInterval=30 -o ServerAliveCountMax=10' git push origin pr/<number>:refs/pr/<number>。讨论 URL 形如 https://huggingface.co/datasets/harborframework/parity-experiments/discussions/<number>。

适用场景:需要发布大型平价实验包、希望避免全量克隆和 API 提交循环、需要为适配器记录 parity_pr 时。

限制与注意:目标数据集默认固定为 harborframework/parity-experiments;不要误传 Harbor 仓库本身;不要全量克隆该数据集;不要修改仓库根 .gitattributes,LFS 规则写入适配器目录;推送前删除或排除 .DS_Store;推送中断时先重跑同一命令;hf upload-large-folder 仅作回退方案。资料未提供具体价格、平台支持范围或性能数据。