用途:为所有消费 HuggingFace 资源的插件(如 Primary Agent、local-llm-bench 等)提供统一的下载操作,用于获取文件、模型和快照。
主要能力:提供 download_file() 下载单个文件,download_folder() 下载整个文件夹快照;支持自定义或默认仓库,可通过 repo_id、repo_type 和 allow_patterns(glob 模式)指定模型快照,例如下载 GGUF 权重。所有下载在遇到速率限制或 API 连接问题时使用指数退避重试,最多 5 次。
使用方式:可作为 Python 库导入,例如 from hf_download import download_file, download_folder,并传入 filename、local_dir、repo_id、repo_type、allow_patterns 等参数;也可通过 CLI 运行,如 python ./hf_download.py --filename data/soul_traces.jsonl --local-dir ./local_data,或使用 --repo-id、--repo-type、--allow-patterns、--local-dir 下载指定模型快照。
依赖与前置条件:需要 Python 3.8+,仅使用标准库,无需外部包;但需先运行 hf-init 验证凭据和数据集结构,并安装 huggingface_hub(pip install huggingface_hub)。环境变量需配置 HUGGING_FACE_USERNAME 和 HUGGING_FACE_TOKEN。
限制:资料未提供收费、价格、平台支持范围或具体性能数据;错误处理为成功返回路径,失败抛出异常并重试。