SuperAPI AI 工具集

mac-mini-llm-lab

部署与运维

查看项目

更新于 10-27 02:31

技能介绍

用途

该技能用于把一台 Apple Silicon Mac mini 搭建成低噪音、常开的本地 AI 推理服务器,适合搭建专用本地大模型推理服务、私有 AI 开发环境、无需云成本的常驻模型服务、小型团队内网 AI 服务器,以及运行能装进机器统一内存的模型。

前置条件与边界

需要实际具备足够可用内存的 Apple Silicon Mac mini 配置、macOS Sonoma 14+ 或 Sequoia 15+、推荐有线以太网连接,以及可选的 UPS 电源保护。资料强调:吞吐/RAM 表仅为示意,不是实测证据或适配保证,需计入 KV 缓存、上下文与并发开销;Ollama 默认保持仅回环监听,Caddy 示例中的 TLS 本身不提供认证,远程暴露前需配置带认证的私有代理/隧道与访问策略;Docker 访问所需的回环绑定调整不得暴露未认证的局域网监听端口。持久服务、下载、更新、重启及 FileVault/电源变更应分别授权,并保留原设置与恢复访问。

主要能力

  • 系统初始化:更新 macOS、安装 Xcode 命令行工具、Homebrew、tmux/htop/btop/wget/jq/git/neovim、python@3.12 与 uv、prometheus 与 node_exporter。
  • 模型部署:通过 Ollama 按 16GB/32GB/64GB+ 内存拉取对应模型,并用 ollama run llama3.1:8b --verbose 验证 Metal 加速。
  • MLX 原生框架:uv pip install mlx mlx-lm 安装并运行模型,支持 mlx_lm.server 提供 OpenAI 兼容 API(示例端口 8080)。
  • 开机自启:提供 ~/Library/LaunchAgents/com.ollama.serve.plist 示例,设置 OLLAMA_HOST、并行数、最大加载模型数与 Flash Attention,并用 launchctl 加载/卸载/查看状态。
  • 电源与可靠性:pmset 禁止休眠、断电自动重启、每周定时重启,以及用 pmset -g 检查。
  • 远程访问:Tailscale 安装与使用;SSH 加固(禁用密码认证、启用公钥、禁止 root 登录、限制用户);Caddy 反向代理示例(llm.local 与 webui.local)。
  • Web 界面:通过 Docker 运行 Open WebUI,指向 host.docker.internal:11434,开启 WEBUI_AUTH 并持久化数据卷。
  • 监控:健康检查脚本 ~/scripts/llm-health.sh 检查 Ollama 接口、异常时 kickstart 重启,并输出 CPU/内存/磁盘/温度信息,可加入 crontab 每 5 分钟执行。
  • 安全清单:FileVault 加密、防火墙与隐蔽模式、禁用不必要共享服务、强管理员密码、限制 Ollama 仅本地网络。
  • 性能调优与排障:提升文件描述符上限、查看内存压力与 GPU 功耗、关闭模型目录 Spotlight 索引;排障表涉及加载慢、内存不足、休眠、启动失败、Wi-Fi 延迟、热降频。

使用方式

按资料中的命令顺序执行:更新系统与安装依赖,安装 Ollama 并按内存拉取模型,安装 MLX 与 mlx-lm,配置 launchd 自启,设置 pmset 电源策略,配置 Tailscale/SSH/Caddy 与 Open WebUI,部署健康检查脚本并加入 cron。所有涉及持久服务、权限变更与远程暴露的步骤需先授权,并在变更前备份与记录原设置。

适用场景与限制

适用于自建私有推理服务、小团队内网 AI 环境与低成本常驻服务。限制包括:文档型导入,上游脚本与模板未随资料附带;吞吐与内存数据仅为示意;需自行评估模型与硬件适配、上下文与并发开销;远程暴露必须先解决认证问题;基础设施命令可能中断服务,需确认目标主机与作用范围并具备备份或快照。