用途:在 Hugging Face Hub 上查找兼容 llama.cpp 的 GGUF 仓库,选择合适的量化版本,并用 llama-cli 或 llama-server 在本地启动模型,面向 CPU、Mac Metal、CUDA 或 ROCm 环境。
主要能力:搜索 Hub 时使用 apps=llama.cpp 过滤;打开 https://huggingface.co/<repo>?local-app=llama.cpp 查看官方本地应用片段与量化建议;通过 https://huggingface.co/api/models/<repo>/tree/main?recursive=true 确认准确的 .gguf 文件名;用 llama-cli -hf <repo>:<QUANT> 或 llama-server -hf <repo>:<QUANT> 直接运行;仓库自定义命名时回退到 --hf-repo 加 --hf-file;仅当仓库未提供 GGUF 时才从 Transformers 权重转换;并可对本地服务器做接口烟测。
安装与认证:brew install llama.cpp、winget install llama.cpp,或 git clone https://github.com/ggml-org/llama.cpp 后 make。受限仓库用 hf auth login 登录。
示例命令:llama-cli -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_M;llama-server 加 --hf-repo、--hf-file、-c 4096;转换时用 python convert_hf_to_gguf.py 与 llama-quantize。烟测向 http://localhost:8080/v1/chat/completions 发送 OpenAI 兼容请求。
量化选择:优先使用 HF 在 ?local-app=llama.cpp 页面标记为兼容的量化,保留仓库原生标签如 UD-Q4_K_M,默认 Q4_K_M;代码或技术任务在内存允许时用 Q5_K_M 或 Q6_K;内存紧张可考虑 Q3_K_M、Q4_K_S 或仓库特定 IQ/UD-* 变体;mmproj-*.gguf 是投影器权重而非主检查点。
限制与更多资料:参考文件 hub-discovery.md、quantization.md、hardware.md 提供发现流程、量化与硬件加速细节。本资料未提供具体模型性能、收费或价格信息。