本项目是一套模型与数据集统一存放与加载约定,核心思路是“下载平台只是手段,文件本身才是本质”。
主要能力:所有模型和数据集,无论来自 HF 还是 ModelScope,都落成同一形状,目录内直接是文件本体(如 config.json、*.safetensors、tokenizer 或数据集数据文件),没有 snapshots、commit-hash 等中间层。命名规则为目录名 = repo_id 中的“/”换成“”,模型落 /data/models/<org><name>,数据集落 /data/datasets/<org><name>。加载只用绝对路径,例如 AutoModelForCausalLM.from_pretrained("/data/models/ZhipuAI__GLM-4.7-Flash")、load_dataset("/data/datasets/<org><name>")。资料说明 ModelScope 下载的是标准 HF 格式,因此两种来源的绝对路径写法通用。
使用方式:用 uv 隔离安装两个 CLI,HF CLI 为 uv tool install huggingface_hub,ModelScope CLI 包名为 modelscope-hub 而非 modelscope(安装后提供 modelscope、ms 命令)。下载通过自包含的 dl 脚本,用法为 dl <hf|ms> <repo_id> [--type model|dataset] [--name NAME],其内部等价于 hf download 或 modelscope download 加 --local-dir。环境变量方面资料列出 HF_ENDPOINT、HF_HOME、MODELSCOPE_CACHE 以及必须禁用 HF 2.0 Xet 协议的 HF_HUB_DISABLE_XET=1(经镜像会 401)。文档还给出新机器准备 /data 的按现状决策表,以及验证清单,包括查看目录、df -h、下载 tiny-random-gpt2 测试并清理。
适用场景:需要跨平台统一管理模型与数据集、希望避免平台 id 索引、用绝对路径直接加载的多机器环境。
限制:资料强调 /data/hub 只是工具缓存可清,/data/models 与 /data/datasets 是实体不要乱删;初始化磁盘会丢失原有数据,动手前须确认盘为空。其余如具体性能、收费或更多平台兼容性暂未提供。