Lemonade 是一款本地 AI 服务器,目标是在用户自己的 GPU 和 NPU 上提供优化后的大语言模型服务,使本地运行获得与云 API 相同的能力,同时强调免费与隐私。
主要形态 Lemonade 提供两种使用方式。Lemonade Server 会安装一个服务,可通过标准 OpenAI、Anthropic 和 Ollama API 连接大量应用。Embeddable Lemonade 是可移植的二进制文件,可打包进自己的应用程序,为其提供多模态本地 AI,并自动针对用户 PC 进行优化。
主要能力 支持聊天、编程、语音和图像生成。Lemonade 支持多种 LLM(GGUF、FLM 和 ONNX)、whisper、stable diffusion 等模型,可运行在 CPU、GPU 和 NPU 上。内置 Model Manager 可用于浏览和下载模型,也可使用 lemonade pull 下载模型。自定义 GGUF/ONNX 模型可从 Hugging Face 或 ModelScope 拉取,并保留来源以便后续更新。支持为模型设置别名,以实现与环境无关的命名以及主备故障转移。对于混合部署,实验性功能允许 Lemonade 在本地模型之外,将请求路由到任意兼容 OpenAI 的云服务商(如 Fireworks、OpenAI、OpenRouter、Together 等)。
使用方式 安装方式包括 Windows、Linux、macOS、Docker 以及从源码安装。移动端提供 iOS、Android 及源码。可通过内置界面试用聊天、图像生成、语音生成等。将 OpenAI 兼容客户端库的 base URL 配置为 http://localhost:13305/v1 即可连接 Lemonade Server。Embeddable Lemonade 提供嵌入指南,可供开发者集成到自己的应用中。
适用场景 希望在自己的 PC 上本地运行聊天、编程、语音和图像生成模型,并让现有应用通过标准 API 接入本地模型的用户;以及希望将本地多模态 AI 打包进自有应用的开发者。
限制与说明 云卸载(Cloud Offload)被标注为实验性功能。各推理引擎的 backend 和硬件要求不同,其中部分后端标注为实验性或 guest 后端。关于收费、价格、具体硬件需求清单、性能数据及针对 Roblox 游戏的专门功能,资料中暂未提供。项目采用 Apache 2.0 许可,部分内容按 LICENSE 中说明授权。