用途：本技能面向 llama.cpp 的本地 GGUF 推理、量化选择，以及 Hugging Face Hub 上的模型发现。适用于在 CPU、Apple Silicon、CUDA、ROCm 或 Intel GPU 上运行本地模型，为指定仓库找到合适的 GGUF，从 Hub 构建 llama-server 或 llama-cli 命令，搜索已支持 llama.cpp 的模型，枚举仓库中的 .gguf 文件与大小，并在 Q4/Q5/Q6/IQ 变体间按内存或显存做取舍。
模型发现流程：优先使用 URL 工作流，而非先要求 hf、Python 或自定义脚本。可在 Hub 搜索候选仓库，基础地址为 https://huggingface.co/models?apps=llama.cpp&sort=trending，可加 search=<term> 或 num_parameters=min:0,max:24B。用 https://huggingface.co/<repo>?local-app=llama.cpp 打开仓库，若可见 local-app 片段则以其为准，复制其中确切的 llama-server 或 llama-cli 命令，并按 HF 显示报告推荐量化。读取同一 URL 的页面文本或 HTML，提取 Hardware compatibility 下的内容，优先采用其量化标签与大小，保留 UD-Q4_K_M、IQ4_NL_XL 等仓库原生标签；若该部分不可见则说明并回退到 tree API 加通用量化建议。用 https://huggingface.co/api/models/<repo>/tree/main?recursive=true 确认实际文件，保留 type 为 file 且 path 以 .gguf 结尾的条目，以 path 和 size 为准，区分量化检查点与 mmproj-*.gguf 投影文件及 BF16 分片。若 local-app 片段不可见，可用 llama-server -hf <repo>:<QUANT> 或 llama-server --hf-repo <repo> --hf-file <filename.gguf> 重建命令。仅当仓库未提供 GGUF 时才建议从 Transformers 权重转换。
安装与运行：macOS/Linux 可用 brew install llama.cpp，Windows 可用 winget install llama.cpp，或从 https://github.com/ggml-org/llama.cpp 克隆后用 cmake -B build 与 cmake --build build --config Release 构建。可直接从 Hub 运行，如 llama-cli -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0 或 llama-server -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0。也可指定确切文件，如 llama-server --hf-repo microsoft/Phi-3-mini-4k-instruct-gguf --hf-file Phi-3-mini-4k-instruct-q4.gguf -c 4096。服务端提供 OpenAI 兼容接口，可用 curl http://localhost:8080/v1/chat/completions 测试。Python 绑定为 llama-cpp-python，可 pip install llama-cpp-python，CUDA 用 CMAKE_ARGS="-DGGML_CUDA=on"，Metal 用 CMAKE_ARGS="-DGGML_METAL=on"。
量化选择：优先采用 Hub 页面针对硬件标记的量化。通用聊天可从 Q4_K_M 起步；代码或技术工作内存允许时优先 Q5_K_M 或 Q6_K；内存极紧可考虑 Q3_K_M、IQ 变体或 Q2 变体，但仅在用户明确优先适配而非质量时。多模态仓库需单独提及 mmproj-*.gguf，投影文件不是主模型文件。不要规范化仓库原生标签。
限制：资料未提供具体收费、价格、平台支持范围或效果数据；部分行为依赖 HF 页面是否可见 local-app 片段，不可见时需回退到 tree API 与通用建议。许可证为 MIT。