SuperAPI AI 工具集

hf-mem

数据与分析

查看项目

更新于 10-16 09:28

技能介绍

用途:估算 Hugging Face Hub 上模型推理所需的显存或内存,包括模型权重与可选 KV Cache,支持 Safetensors 与 GGUF。适合回答“某模型需要多少显存”“能否装进指定 GPU 或实例”,或在提供 Hugging Face 模型 ID/URL 时评估推理需求。

主要能力:通过 HTTP Range 请求读取元数据。对 Safetensors 会检查 model.safetensors、分片索引 model.safetensors.index.json 或 Diffusers 的 model_index.json;GGUF 仓库若有多种精度/量化,默认为按文件估算,可用 --gguf-file 指定目标文件或分片路径。--experimental 可额外计算 KV Cache,适用于 LLM(...ForCausalLM)、VLM(...ForConditionalGeneration)与 GGUF。上下文窗口默认读取,或按 vLLM 方式用 --max-model-len 覆盖;KV Cache 精度默认跟随模型精度,可用 --kv-cache-dtype 覆盖。

使用方式:需已安装 uv(用于 uvx)并具备访问模型元数据的权限;受限或私有仓库通过宿主私密凭据处理获取 HF_TOKEN,避免将令牌写入命令参数、日志或报告。建议审查并固定包版本,例如 uvx --from "hf-mem==REVIEWED_VERSION" hf-mem ...。基本调用:uvx hf-mem --model-id <model-id> --json-output。GGUF 指定文件:uvx hf-mem --model-id <model-id> --gguf-file <file-or-path> --json-output。含 KV Cache 的 Safetensors:uvx hf-mem --model-id <model-id> --experimental [--max-model-len N] [--batch-size N] [--kv-cache-dtype auto|bfloat16|fp8|fp8_ds_mla|fp8_e4m3|fp8_e5m2|fp8_inc] --json-output。GGUF 类似,kv-cache-dtype 可选值包括 F32、F16、Q4_0、Q4_1、Q5_0、Q5_1、Q8_0、Q8_1、Q2_K、Q3_K、Q4_K、Q5_K、Q6_K、Q8_K、IQ2_XXS、IQ2_XS、IQ3_XXS、IQ1_S、IQ4_NL、IQ3_S、IQ2_S、IQ4_XS、I8、I16、I32、I64、F64、IQ1_M、BF16、TQ1_0、TQ2_0、MXFP4。示例:uvx hf-mem --model-id MiniMaxAI/MiniMax-M2 --json-output;uvx hf-mem --model-id Qwen/Qwen-Image --json-output;uvx hf-mem --model-id google/embeddinggemma-300m --json-output;uvx hf-mem --model-id mistralai/Mistral-7B-v0.1 --experimental --json-output;uvx hf-mem --model-id unsloth/Qwen3.5-397B-A17B-GGUF --gguf-file Q4_K_M --experimental --json-output。注意尖括号与方括号为用法记号,不是可直接粘贴的命令。

限制:仅在任务明确匹配该上游产品/API 范围时使用;命令、API 行为、定价、配额、凭据与部署影响需对照当前官方文档核实;示例不能替代环境测试、安全审查或对破坏性/高成本操作的用户批准。权重/头部估算不保证模型一定能放下,运行时工作区、激活、分配器碎片、卸载与并发进程都会增加内存;购买或部署前应在目标硬件与预期推理后端确认。HTTP 元数据访问仍会接触 Hub,可能暴露私有模型标识,且不执行推理;实验性 KV 估算依赖受支持的架构。本技能不打包可执行文件,未提供具体版本号。