LlamaBarn(仓库名 ggml-org/Llama-macOS)是一个 macOS 菜单栏应用,用来在本地运行大语言模型。它由 GGML 组织开发,与 llama.cpp 同步演进。
【用途与定位】 该应用面向希望在 Mac 上本地运行 LLM 的用户,提供菜单栏常驻的轻量入口。它启动后会在 http://localhost:9931/v1 运行本地服务器,模型全部在本地执行,官方称数据不会离开设备。
【主要能力】
- 本地服务器:启动应用即运行本地 API 服务(默认端口 9931,路径 /v1)。
- llama.cpp 集成:如果已安装 llama.cpp 则直接使用;否则为当前 Mac 安装预构建二进制。已通过 llama.cpp 安装的模型会自动出现在应用中。
- 模型安装:支持从 Hugging Face 安装任意 GGUF 模型,并提供内置的推荐列表,列出适合当前 Mac 硬件运行的模型,可一键安装。
- 多入口使用:可在内置 WebUI 中聊天,也可连接其他应用(编码代理、聊天 UI、编辑器),或直接使用 API。
- 按需加载:模型在请求时加载、空闲时卸载,不在使用时释放内存。
- 应用特性:完全本地运行;体积约 4 MB 的原生 macOS 应用;零配置,自动为当前 Mac 配置最佳设置;模型存放在 Hugging Face 缓存中,与 llama.cpp 及其他工具共享。
【使用方式】
- 从 Releases 下载应用,或观看官方 2 分钟介绍视频。
- 启动后应用自动运行本地服务器;若未安装 llama.cpp 会自动安装对应二进制。
- 安装模型:可从 Hugging Face 安装 GGUF 模型,使用应用推荐列表一键安装。
- 使用模型:在内置 WebUI 聊天、连接外部应用,或调用 API。 官方给出的示例请求包括:列出已安装模型;向模型发送消息。完整 API 参考见 llama.cpp 服务器文档。
【自定义模型设置】 应用会为每个模型自动配置并写入 models.ini,每次启动都会重新生成。若要修改某个设置或添加应用未设置的项,应编辑 ~/.config/llama/models.user.ini;应用只读取该文件,并将其合并到自动生成的配置中。 使用与应用相同的节标题(org/repo:QUANT),只列出想修改的键。键名是 llama serve 的选项,不带前导短横线。 若某节对应的模型应用未找到,会原样传递,可用于指向其他仓库的权重或草稿模型。 此处设置优先于应用自身的值,包括基于 Mac 内存推导出的设置。若某个键无法应用,应用会忽略该文件,并在菜单中提示是哪个选项出错。 首次启动时会在该路径写入带注释的模板。
【网络访问】 默认服务器仅本机可访问。设置中的“Allow network access”可改变这一行为,具体选项取决于用户环境:
- Tailscale:将服务器绑定到 Tailscale 地址,其他设备可从任意位置访问,由 Tailscale 认证和加密,服务器在当前网络上不可见。适合笔记本使用。仅在已安装并登录 Tailscale 时显示。
- This network:绑定所有接口(0.0.0.0),当前网络上的任何设备都可访问。服务器没有密码,仅应在可信网络使用,且不要在不属于自己所有的网络上与 agent 模式同时开启。
【实验性设置】
- 绑定特定地址:若要将服务器固定到应用未提供的地址,可手动设置。应用不会改动它,当该地址不在任何接口上时回退到 localhost。
- 自定义服务器参数:在 llama serve 命令后附加额外 CLI 参数,用于应用未暴露的服务器标志(例如 --api-key)。这些参数排在应用自身标志之后,在服务器取后者生效的场景下可覆盖应用设置。下次服务器启动时生效。
【适用场景】 适合希望在 Mac 上以本地、低配置成本方式运行 LLM 的个人用户,用于本地聊天、为编码代理与编辑器提供模型服务,或通过 API 集成到其他应用。
【限制与注意事项】
- 平台限于 macOS。
- 开启“This network”时服务器无密码,存在安全风险,仅限可信网络。
- 模型实际可运行性受 Mac 硬件限制,应用仅提供推荐列表。
- 收费、价格等信息暂未提供。