LocalAI 是一个免费、开源的自托管 AI 引擎，被描述为 OpenAI、Claude 等服务的本地优先替代方案。其核心目标是在用户自己的基础设施上运行各类 AI 模型，而无需依赖外部云服务，也不需要 GPU（可在消费级硬件上运行，但硬件加速可选）。
【用途与定位】 LocalAI 可作为 OpenAI API 的即插即用替代品，同时兼容 Anthropic 和 ElevenLabs API，使已有基于这些接口的应用能够较方便地切换到本地推理。它强调隐私优先，数据不会离开用户自己的基础设施。
【主要能力】
- 任何模型、任何模态：将 LLM、视觉、语音、图像和视频统一在一个 API 之下。
- 任何硬件：支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 或纯 CPU。具有自动后端检测功能，可自动识别 GPU 能力并下载合适的后端。
- 可组合设计：后端相互独立并按需拉取，只安装模型所需的部分，不在使用之外捆绑多余组件。
- 开放可扩展：可加载任何模型，或使用任意语言针对开放接口构建自己的后端。
- 多用户就绪：支持 API 密钥认证、用户配额和基于角色的访问控制。
- 内置 AI 智能体：具备工具调用、RAG、MCP 和技能等能力的自主智能体。
- 支持文本生成、图像生成、OpenAI 兼容工具 API、实时 API（语音到语音）、嵌入生成、约束语法、从 HuggingFace 下载模型、目标检测、P2P 推理、分布式模式（PostgreSQL + NATS 水平扩展）、模型上下文协议（MCP）、内置智能体、后端画廊（通过 OCI 镜像即时安装/移除后端）、语音活动检测（Silero-VAD）以及集成 WebUI。
- 后端支持：涵盖 llama.cpp、vLLM、SGLang、transformers、whisper.cpp、diffusers、MLX、MLX-VLM 等 60 多个后端；硬件加速支持 NVIDIA（CUDA 12/13）、AMD（ROCm）、Intel（oneAPI/SYCL）、Apple Silicon（Metal）、Vulkan 和 NVIDIA Jetson（L4T）。所有后端均可通过 Backend Gallery 即时安装。
【使用方式】 项目提供文档、Discord 社区、快速入门指南、模型库和 FAQ。可通过容器（Docker、podman 等）运行；若之前运行过，可用 docker start -i local-ai 重启已有容器。从终端与运行中的 LocalAI 服务器交互时，可在另一个 shell 中启动内置智能体，它可回答问题、读取文件并在机器上运行命令，任何改变状态的操作用户都需要批准；会话内可用 /models 列出已安装模型，用 /model <name> 切换模型。macOS 提供 DMG 安装包，但该 DMG 未经 Apple 签名，安装后需运行：sudo xattr -d com.apple.quarantine /Applications/LocalAI.app。此外还提供 LLM 微调指南、从源码构建、Kubernetes 安装、集成与社区项目、安装视频演示等资源。
【适用场景】 适合希望在本地或自有基础设施上运行多模态 AI 模型的个人与团队，包括需要数据不外流的隐私敏感场景、希望以 OpenAI/Anthropic 兼容接口替换云服务的开发者、需要在消费级硬件或无 GPU 环境部署的用户，以及需要多用户配额管理与分布式扩展的组织。
【限制】 资料未说明具体的系统要求、各后端的最低硬件配置、模型加载速度或质量等性能指标，也未提供收费、价格或商业支持信息（项目采用 MIT 许可证）。macOS 的 DMG 未经 Apple 签名，需手动移除隔离属性。部分内容（如各版本发布说明中的具体功能）仅在更新日志中提及，具体可用性需参考对应版本文档。
