SuperAPI AI 工具集

hf-upload

数据与分析

查看项目

更新于 10-16 08:00

技能介绍

用途:为所有消费 HuggingFace 的插件(如 Primary Agent、Orchestrator)提供统一的上传操作,用于 Soul 持久化。所有上传均带指数退避以处理限流。

主要能力:upload_file() 上传单个文件到自定义路径;upload_folder() 上传整个目录到自定义前缀;upload_soul_snapshot() 上传封存的学习快照到 lineage/seal_<timestamp>_*.md;upload_semantic_cache() 上传 RLM 语义缓存到 data/rlm_summary_cache.json;append_to_jsonl() 向 data/soul_traces.jsonl 追加记录;ensure_dataset_structure() 创建 ADR 081 的 lineage/、data/、metadata/ 文件夹;ensure_dataset_card() 创建或校验带标签的 README.md。

使用方式:可作为 Python 库调用,例如 from hf_upload import upload_file, upload_soul_snapshot, append_to_jsonl,再以 await 调用相应函数。前置条件:先运行 hf-init 校验凭据与数据集结构;需安装 huggingface_hub(pip install huggingface_hub);需设置环境变量 HUGGING_FACE_USERNAME、HUGGING_FACE_TOKEN。依赖安装可用 pip-compile ./requirements.in 与 pip install -r ./requirements.txt,当前锁文件为空,仅用标准库。

错误处理:所有操作返回 HFUploadResult,含 success(是否成功)、repo_url(数据集 URL)、remote_path(数据集内路径)、error(失败信息)。限流请求以指数退避重试,最多 5 次。

限制:依赖 hf-init 预先配置凭据;需 huggingface_hub;具体平台、收费与效果资料暂未提供。