SuperAPI AI 工具集

llama-cpp

通用与其它

查看项目

更新于 10-16 06:15

技能介绍

用途:在本地运行 GGUF 模型,并发现 Hugging Face Hub 上已支持 llama.cpp 的模型仓库。适用于 CPU、Apple Silicon、CUDA、ROCm 或 Intel GPU 推理,查找指定仓库的合适 GGUF,构建 llama-server 或 llama-cli 命令,枚举仓库中的 .gguf 文件与大小,以及根据内存或显存选择 Q4/Q5/Q6/IQ 量化变体。

模型发现:优先使用 URL 工作流。可在 Hub 搜索候选仓库,基础地址为 https://huggingface.co/models?apps=llama.cpp&sort=trending,可加 search=<term> 或 num_parameters=min:0,max:24B。用 https://huggingface.co/<repo>?local-app=llama.cpp 打开仓库,若可见 local-app 片段则以其为准确来源,复制其中的 llama-server 或 llama-cli 命令与推荐量化。用 https://huggingface.co/api/models/<repo>/tree/main?recursive=true 确认实际存在的文件,保留 type 为 file 且 path 以 .gguf 结尾的条目,区分主模型与 mmproj-*.gguf 投影文件及 BF16 分片。

安装与运行:macOS/Linux 可用 brew install llama.cpp,Windows 可用 winget install llama.cpp,或从 https://github.com/ggml-org/llama.cpp 克隆后用 cmake 构建。可直接从 Hub 运行:llama-cli -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0 或 llama-server -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0。指定文件时用 llama-server --hf-repo <repo> --hf-file <filename.gguf> -c 4096。服务默认提供 OpenAI 兼容接口,可用 curl http://localhost:8080/v1/chat/completions 测试。

Python 绑定:pip install llama-cpp-python,CUDA 用 CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python --force-reinstall --no-cache-dir,Metal 用 CMAKE_ARGS="-DGGML_METAL=on"。支持基础生成、聊天与流式、嵌入,也可用 Llama.from_pretrained 直接从 Hub 加载。

量化选择:优先采用 Hub 页面标记为兼容的量化。通用聊天可从 Q4_K_M 开始,代码或技术工作内存允许时用 Q5_K_M 或 Q6_K,内存紧张可考虑 Q3_K_M、IQ 或 Q2 变体。多模态仓库需单独提及 mmproj-*.gguf。不要改写仓库原生标签,如页面显示 UD-Q4_K_M 就报告 UD-Q4_K_M。

限制:仅在仓库未提供 GGUF 时才建议从 Transformers 权重转换。若 local-app 片段不可见,需回退到 tree API 加通用量化指导。资料未提供具体收费、价格或效果数据。