SuperAPI AI 工具集

hf-mem

通用与其它

查看项目

更新于 10-16 03:37

技能介绍

hf-mem 用于估算从 Hugging Face Hub 加载模型进行推理所需的内存,涵盖模型权重以及可选的 KV 缓存。它借助 HTTP Range 请求获取信息,因此不需要在本地下载或加载任何权重,支持 Safetensors 和 GGUF 格式。

适用场景:用户询问某模型需要多少显存或内存;用户想知道模型能否放进自己的 GPU 或给定实例;用户给出 Hugging Face 模型 ID 或 URL 并询问推理需求。

前提要求:已安装 uv(用于 uvx);仅当模型受限或私有(gated/private)时,需要 HF_TOKEN 环境变量或 --hf-token 参数。

用法:通过 --model-id 指向 Hugging Face Hub 仓库,工具会检查其中是否包含 Safetensors(model.safetensors、分片时的 model.safetensors.index.json,或 Diffusers 的 model_index.json)或 GGUF 权重。示例:uvx hf-mem --model-id <model-id> --json-output。

若仓库包含多种精度或量化的 GGUF 权重,估算会按文件给出,而推理时通常只加载单一精度,因此可通过 --gguf-file 指定目标文件(分片时为路径):uvx hf-mem --model-id <model-id> --gguf-file <file-or-path> --json-output。

另有 --experimental 标志,可额外计算 KV 缓存内存需求,适用于 LLM(...ForCausalLM)、VLM(...ForConditionalGeneration)和 GGUF 模型。上下文窗口默认读取模型默认值,或用 --max-model-len 覆盖(类似 vLLM);KV 缓存精度默认同模型精度,或用 --kv-cache-dtype 手动设置。

限制:资料仅说明支持 Safetensors 与 GGUF 的估算,未提供其它格式支持、价格或平台细节。