SuperAPI AI 工具集

LlamaBarn

LlamaBarn 是一个 macOS 菜单栏应用,用于在本地运行大语言模型(LLM)。它由 GGML 组织开发,与 llama.cpp 同步演进。启动后会运行本地服务器(http://localhost:9931/v1),可自动复用已安装的 llama.cpp,也可安装适合 Mac 硬件的预构建二进制。已通过 llama.cpp 安装的模型会自动显示;支持从 Hugging Face 一键安装任意 GGUF 模型,并推荐适配机型硬件的模型。用户可在内置 WebUI 中与模型对话,也可连接编码代理、聊天界面、编辑器等外部应用或直接调用 API。模型按需加载、空闲时卸载,不占用内存。应用完全本地运行,数据不出设备,体积仅 4 MB,零配置自动优化设置,模型存放在 Hugging Face 缓存中与 llama.cpp 等工具共享。

访问官网

工具介绍

LlamaBarn(仓库名 ggml-org/Llama-macOS)是一个 macOS 菜单栏应用,用来在本地运行大语言模型。它由 GGML 组织开发,与 llama.cpp 同步演进。

【用途与定位】 该应用面向希望在 Mac 上本地运行 LLM 的用户,提供菜单栏常驻的轻量入口。它启动后会在 http://localhost:9931/v1 运行本地服务器,模型全部在本地执行,官方称数据不会离开设备。

【主要能力】

  • 本地服务器:启动应用即运行本地 API 服务(默认端口 9931,路径 /v1)。
  • llama.cpp 集成:如果已安装 llama.cpp 则直接使用;否则为当前 Mac 安装预构建二进制。已通过 llama.cpp 安装的模型会自动出现在应用中。
  • 模型安装:支持从 Hugging Face 安装任意 GGUF 模型,并提供内置的推荐列表,列出适合当前 Mac 硬件运行的模型,可一键安装。
  • 多入口使用:可在内置 WebUI 中聊天,也可连接其他应用(编码代理、聊天 UI、编辑器),或直接使用 API。
  • 按需加载:模型在请求时加载、空闲时卸载,不在使用时释放内存。
  • 应用特性:完全本地运行;体积约 4 MB 的原生 macOS 应用;零配置,自动为当前 Mac 配置最佳设置;模型存放在 Hugging Face 缓存中,与 llama.cpp 及其他工具共享。

【使用方式】

  1. 从 Releases 下载应用,或观看官方 2 分钟介绍视频。
  2. 启动后应用自动运行本地服务器;若未安装 llama.cpp 会自动安装对应二进制。
  3. 安装模型:可从 Hugging Face 安装 GGUF 模型,使用应用推荐列表一键安装。
  4. 使用模型:在内置 WebUI 聊天、连接外部应用,或调用 API。 官方给出的示例请求包括:列出已安装模型;向模型发送消息。完整 API 参考见 llama.cpp 服务器文档。

【自定义模型设置】 应用会为每个模型自动配置并写入 models.ini,每次启动都会重新生成。若要修改某个设置或添加应用未设置的项,应编辑 ~/.config/llama/models.user.ini;应用只读取该文件,并将其合并到自动生成的配置中。 使用与应用相同的节标题(org/repo:QUANT),只列出想修改的键。键名是 llama serve 的选项,不带前导短横线。 若某节对应的模型应用未找到,会原样传递,可用于指向其他仓库的权重或草稿模型。 此处设置优先于应用自身的值,包括基于 Mac 内存推导出的设置。若某个键无法应用,应用会忽略该文件,并在菜单中提示是哪个选项出错。 首次启动时会在该路径写入带注释的模板。

【网络访问】 默认服务器仅本机可访问。设置中的“Allow network access”可改变这一行为,具体选项取决于用户环境:

  • Tailscale:将服务器绑定到 Tailscale 地址,其他设备可从任意位置访问,由 Tailscale 认证和加密,服务器在当前网络上不可见。适合笔记本使用。仅在已安装并登录 Tailscale 时显示。
  • This network:绑定所有接口(0.0.0.0),当前网络上的任何设备都可访问。服务器没有密码,仅应在可信网络使用,且不要在不属于自己所有的网络上与 agent 模式同时开启。

【实验性设置】

  • 绑定特定地址:若要将服务器固定到应用未提供的地址,可手动设置。应用不会改动它,当该地址不在任何接口上时回退到 localhost。
  • 自定义服务器参数:在 llama serve 命令后附加额外 CLI 参数,用于应用未暴露的服务器标志(例如 --api-key)。这些参数排在应用自身标志之后,在服务器取后者生效的场景下可覆盖应用设置。下次服务器启动时生效。

【适用场景】 适合希望在 Mac 上以本地、低配置成本方式运行 LLM 的个人用户,用于本地聊天、为编码代理与编辑器提供模型服务,或通过 API 集成到其他应用。

【限制与注意事项】

  • 平台限于 macOS。
  • 开启“This network”时服务器无密码,存在安全风险,仅限可信网络。
  • 模型实际可运行性受 Mac 硬件限制,应用仅提供推荐列表。
  • 收费、价格等信息暂未提供。