用途
该技能用于把一台 Apple Silicon Mac mini 搭建成低噪音、常开的本地 AI 推理服务器,适合搭建专用本地大模型推理服务、私有 AI 开发环境、无需云成本的常驻模型服务、小型团队内网 AI 服务器,以及运行能装进机器统一内存的模型。
前置条件与边界
需要实际具备足够可用内存的 Apple Silicon Mac mini 配置、macOS Sonoma 14+ 或 Sequoia 15+、推荐有线以太网连接,以及可选的 UPS 电源保护。资料强调:吞吐/RAM 表仅为示意,不是实测证据或适配保证,需计入 KV 缓存、上下文与并发开销;Ollama 默认保持仅回环监听,Caddy 示例中的 TLS 本身不提供认证,远程暴露前需配置带认证的私有代理/隧道与访问策略;Docker 访问所需的回环绑定调整不得暴露未认证的局域网监听端口。持久服务、下载、更新、重启及 FileVault/电源变更应分别授权,并保留原设置与恢复访问。
主要能力
- 系统初始化:更新 macOS、安装 Xcode 命令行工具、Homebrew、tmux/htop/btop/wget/jq/git/neovim、python@3.12 与 uv、prometheus 与 node_exporter。
- 模型部署:通过 Ollama 按 16GB/32GB/64GB+ 内存拉取对应模型,并用
ollama run llama3.1:8b --verbose验证 Metal 加速。 - MLX 原生框架:
uv pip install mlx mlx-lm安装并运行模型,支持mlx_lm.server提供 OpenAI 兼容 API(示例端口 8080)。 - 开机自启:提供
~/Library/LaunchAgents/com.ollama.serve.plist示例,设置 OLLAMA_HOST、并行数、最大加载模型数与 Flash Attention,并用 launchctl 加载/卸载/查看状态。 - 电源与可靠性:pmset 禁止休眠、断电自动重启、每周定时重启,以及用
pmset -g检查。 - 远程访问:Tailscale 安装与使用;SSH 加固(禁用密码认证、启用公钥、禁止 root 登录、限制用户);Caddy 反向代理示例(llm.local 与 webui.local)。
- Web 界面:通过 Docker 运行 Open WebUI,指向
host.docker.internal:11434,开启 WEBUI_AUTH 并持久化数据卷。 - 监控:健康检查脚本
~/scripts/llm-health.sh检查 Ollama 接口、异常时 kickstart 重启,并输出 CPU/内存/磁盘/温度信息,可加入 crontab 每 5 分钟执行。 - 安全清单:FileVault 加密、防火墙与隐蔽模式、禁用不必要共享服务、强管理员密码、限制 Ollama 仅本地网络。
- 性能调优与排障:提升文件描述符上限、查看内存压力与 GPU 功耗、关闭模型目录 Spotlight 索引;排障表涉及加载慢、内存不足、休眠、启动失败、Wi-Fi 延迟、热降频。
使用方式
按资料中的命令顺序执行:更新系统与安装依赖,安装 Ollama 并按内存拉取模型,安装 MLX 与 mlx-lm,配置 launchd 自启,设置 pmset 电源策略,配置 Tailscale/SSH/Caddy 与 Open WebUI,部署健康检查脚本并加入 cron。所有涉及持久服务、权限变更与远程暴露的步骤需先授权,并在变更前备份与记录原设置。
适用场景与限制
适用于自建私有推理服务、小团队内网 AI 环境与低成本常驻服务。限制包括:文档型导入,上游脚本与模板未随资料附带;吞吐与内存数据仅为示意;需自行评估模型与硬件适配、上下文与并发开销;远程暴露必须先解决认证问题;基础设施命令可能中断服务,需确认目标主机与作用范围并具备备份或快照。