用途：MLX-LM 用于在 Apple Silicon（M1/M2/M3/M4）上本地运行和微调大语言模型，利用统一内存架构，CPU 与 GPU 共享内存、无需数据拷贝。需 macOS 13.5+。
主要能力：支持 Llama、Mistral、Qwen、Phi、Gemma、Cohere 等主流架构，可从 Hugging Face 的 mlx-community 获取预转换模型。提供 Python API（load、generate、stream_generate、batch_generate）与 CLI（mlx_lm.generate、mlx_lm.chat）。支持将 Hugging Face 模型转换为 MLX 格式并量化（内置 4/8 位），量化方法包括基础、DWQ、AWQ、Dynamic、GPTQ。支持 LoRA/QLoRA 微调，以及 dora、full 微调类型，可将适配器融合进基础模型或导出 GGUF。提供 OpenAI 兼容服务器 mlx_lm.server。
使用方式：安装 pip install mlx-lm；微调需 pip install "mlx-lm[train]"。生成示例：mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "..." --max-tokens 256。转换：mlx_lm.convert --model meta-llama/Llama-3.2-3B-Instruct -q。微调：mlx_lm.lora --model ... --train --data ./data --iters 1000。服务：mlx_lm.server --model ... --port 8080。
适用场景：Mac 本地推理、模型格式转换与量化、轻量微调、本地 OpenAI 兼容 API 服务。
限制：仅支持 Apple Silicon 与 macOS 13.5+；量化位宽、组大小等参数影响质量与体积；长生成可用 --max-kv-size 限制 KV 缓存但会牺牲长程质量；内存不足时会使用交换导致变慢。具体性能与效果因硬件和模型而异，资料未提供基准数据。