【用途】GGUF（GPT-Generated Unified Format）是 llama.cpp 的标准文件格式，用于在 CPU、Apple Silicon 与 GPU 上进行高效推理，并支持灵活的量化选项。资料指出，在以下情况适合使用 GGUF：部署到消费级硬件（笔记本、台式机）；在 Apple Silicon（M1/M2/M3）上借助 Metal 加速运行；需要无 GPU 的 CPU 推理；需要灵活量化（Q2_K 至 Q8_0）；使用 LM Studio、Ollama、text-generation-webui 等本地 AI 工具。
【主要能力与优势】GGUF 的主要优势包括：通用硬件支持（CPU、Apple Silicon、NVIDIA、AMD）；无需 Python 运行时，纯 C/C++ 推理；灵活量化，支持 2-8 位及多种方法（K-quants）；生态支持（LM Studio、Ollama、koboldcpp 等）；以及 imatrix（重要性矩阵）用于改善低位量化质量。资料同时列出替代方案：AWQ/GPTQ（在 NVIDIA GPU 上经校准获得最高精度）、HQQ（面向 HuggingFace 的免校准快速量化）、bitsandbytes（与 transformers 库简单集成）、TensorRT-LLM（NVIDIA 生产环境的最大速度部署）。
【安装与转换】安装步骤：克隆 llama.cpp 仓库（git clone https://github.com/ggml-org/llama.cpp 并进入目录），可用 make 构建 CPU 版本，或用 make GGML_CUDA=1 构建 CUDA 版本，或用 make GGML_METAL=1 构建 Metal 版本；可选安装 Python 绑定 pip install llama-cpp-python。转换模型需安装 requirements.txt，然后运行 python convert_hf_to_gguf.py ./path/to/model --outfile model-f16.gguf，可用 --outtype f16 指定输出类型。
【量化】基本量化命令：./llama-quantize model-f16.gguf model-q4_k_m.gguf Q4_K_M。使用重要性矩阵可提升质量：先运行 ./llama-imatrix -m model-f16.gguf -f calibration.txt -o model.imatrix，再运行 ./llama-quantize --imatrix model.imatrix model-f16.gguf model-q4_k_m.gguf Q4_K_M。
【量化类型】资料给出 K-quant 方法对照表：Q2_K（2.5 位，7B 约 2.8 GB，质量低，用于极端压缩）、Q3_K_S（3.0 位，约 3.0 GB）、Q3_K_M（3.3 位，约 3.3 GB）、Q4_K_S（4.0 位，约 3.8 GB）、Q4_K_M（4.5 位，约 4.1 GB，推荐默认）、Q5_K_S（5.0 位，约 4.6 GB）、Q5_K_M（5.5 位，约 4.8 GB）、Q6_K（6.0 位，约 5.5 GB）、Q8_0（8.0 位，约 7.2 GB）。传统方法有 Q4_0、Q4_1、Q5_0、Q5_1。推荐使用 K-quant 方法（Q4_K_M、Q5_K_M）以获得最佳质量/体积比。
【推理与运行】CLI 推理：./llama-cli -m model-q4_k_m.gguf -p "Hello, how are you?"；交互模式加 --interactive；GPU 卸载加 -ngl 35。服务器模式：./llama-server -m model-q4_k_m.gguf --host 0.0.0.0 --port 8080 -ngl 35 -c 4096，或 python -m llama_cpp.server 加相应参数；该服务器兼容 OpenAI 客户端，可将 base_url 设为 http://localhost:8080/v1。
【Python 使用】通过 llama_cpp 的 Llama 类加载模型，可设置 n_ctx（上下文窗口）、n_gpu_layers（GPU 卸载，0 为仅 CPU）、n_threads（CPU 线程）。支持基础生成、create_chat_completion 聊天补全（chat_format 可设为 llama-3、chatml、mistral 等）以及流式输出（stream=True）。
【硬件优化】Apple Silicon 可用 make GGML_METAL=1 构建，运行加 -ngl 99 全量卸载。NVIDIA 可用 make GGML_CUDA=1，运行加 -ngl 35，可用 CUDA_VISIBLE_DEVICES 指定 GPU。CPU 可构建 AVX2/AVX512 版本，运行加 -t 8；Python 侧设 n_gpu_layers=0、n_threads=8、n_batch=512。
【工具集成】Ollama：编写 Modelfile（FROM 指向 GGUF 文件，TEMPLATE 及 PARAMETER 配置），执行 ollama create 与 ollama run。LM Studio：把 GGUF 文件放入 ~/.cache/lm-studio/models/，在界面中选择模型并配置上下文长度与 GPU 卸载。text-generation-webui：把文件放入 models 文件夹，使用 llama.cpp loader 启动。
【最佳实践】使用 K-quants（Q4_K_M 质量/体积平衡最佳）；Q4 及以下始终使用 imatrix；在显存允许下尽可能多卸载层；上下文长度从 4096 起步；线程数匹配物理核心而非逻辑核心；增大 n_batch 以加快提示处理。
【常见问题】模型加载慢可用 --mmap；显存不足可减少 GPU 层数（如 -ngl 20）或改用更小量化（Q3_K_M）；低位质量差应对 Q4 及以下使用 imatrix。
【参考资源】仓库 https://github.com/ggml-org/llama.cpp；Python 绑定 https://github.com/abetlen/llama-cpp-python；预量化模型 https://huggingface.co/TheBloke；GGUF 转换器 https://huggingface.co/spaces/ggml-org/gguf-my-repo；许可证 MIT。