用途:将 Apple Silicon Mac mini 变成一台常开的本地 LLM 推理设备,用于私有 AI 开发环境、无需云成本的模型服务,以及小团队家庭实验室。
前置条件:Apple Silicon(M2/M3/M4,建议 16GB 以上统一内存)、macOS Sonoma 14+ 或 Sequoia 15+、推荐有线网络,可选 UPS。
系统准备:用 softwareupdate --install --all 更新系统,xcode-select --install 安装命令行工具,安装 Homebrew 后执行 brew install tmux htop btop wget jq git neovim;Python 环境用 brew install python@3.12 uv;监控用 brew install prometheus node_exporter。
模型服务:brew install ollama 后按内存选择模型(如 16GB 用 ollama pull llama3.1:8b,32GB 用 qwen2.5:14b,64GB+ 用 llama3.1:70b),用 ollama run llama3.1:8b --verbose 验证 Metal 加速。MLX 原生方案:uv pip install mlx mlx-lm,用 mlx_lm.server 提供 OpenAI 兼容 API。
常驻与电源:通过 launchd plist 让 ollama serve 开机自启并保活,可设置 OLLAMA_HOST、OLLAMA_NUM_PARALLEL 等环境变量;用 pmset 禁止休眠、断电自动重启并安排每周重启。远程访问推荐 Tailscale,SSH 通过 sshd_config 加固;可用 Caddy 反向代理,Open WebUI 以 Docker 运行。
限制与注意:资料给出不同量化模型的显存与速度参考表,实际表现取决于硬件;首次加载较慢,内存不足需换更小量化;Wi-Fi 会增加流式响应延迟;需做 FileVault、防火墙等安全检查。其它细节暂未提供。