PrivateGPT 是开源的 API 层，目标是将本地模型转化为生产级 AI 应用。运行本地模型只是第一步，构建有用的 AI 应用还需要更高层的构建模块，PrivateGPT 以开源 API 的形式提供这一层，并遵循 Claude API 模型，使开发者无需从零重建后端基础组件，也无需依赖云 API。据资料说明，PrivateGPT 已在生产环境经过验证，为 Zylon 提供支持——Zylon 是面向前述企业的本地部署 AI 平台。
用途与定位 PrivateGPT 本身不运行模型，而是通过 OPENAI_API_BASE 连接任何兼容 OpenAI 的推理服务器；只要该服务器实现了 /v1/chat/completions 和 /v1/models 即可工作。
主要能力
- 标准的 messages API（支持流式、异步、token 计数）
- 文件与产物摄取
- 带引用的检索与代理式 RAG
- 内置工具（对应 Claude API）：网页搜索、网页抓取、代码执行
- 自定义工具与 MCP 连接器
- 对数据库和 CSV 的结构化访问
- 嵌入与编排
使用方式 资料提供了前置条件与三步流程：需要一个运行中的、兼容 OpenAI 的 LLM 服务器（Ollama 是最简单的起点）。
- 安装 PrivateGPT
- 启动 LLM 服务器
- 运行 PrivateGPT 随后访问 http://localhost:8080/ui，API 位于 http://localhost:8080，并遵循 Anthropic API 规范。 关于安装命令与模型配置的具体内容，官方文档指向完整的 Quickstart 指南；资料未给出具体安装命令文本。
内置 UI 的用途 PrivateGPT 自带工作台 UI（位于 /ui），用于测试和演示。其用途包括：发送消息；从 /v1/models 选择模型；上传文档；测试带引用的检索；按对话启用工具；配置数据库、MCP 连接器、技能和自定义工具；通过 API Debugger 查看请求与响应。资料明确说明该 UI 是演示器，不是核心产品，开发者应在 API 之上构建自己的应用；不过该 UI 经过有意打磨，足以用于演示、视频、内部试点和快速本地使用。
兼容性与集成 任何与本地 OpenAI 兼容提供方配合使用的工具，也能与 PrivateGPT 配合使用（资料称该列表并非详尽）。PrivateGPT 可原生作为开发者与终端用户已使用工具的本地后端。
Claude API 兼容性 PrivateGPT 以 Claude API 作为现代 AI 应用 API 的参考，目标是在对本地开源层有意义的范围内实现完整覆盖。资料以 ✅ 已支持、⚙️ 部分支持/进行中、❌ 不支持三种状态标注，并特别欢迎在 ⚙️ 领域贡献。
背景 PrivateGPT 始于 2023 年的概念验证：一个让你与文档对话、完全离线、数据不离开本机的脚本。它在 GitHub 上走红，星标超过 5 万，成为当年最受关注的 AI 仓库之一。该早期版本表明，存在对不依赖云、可用的私有本地 AI 的强烈需求。PrivateGPT 1.0 是这一思路的演进，从头重建为面向私有 AI 应用的正式 API 层。
与其他方案的区别
- 对比 Ollama、LM Studio、LocalAI、vLLM、llama.cpp：这些项目让模型可以在本地运行和提供服务，回答的是“如何运行模型”；PrivateGPT 回答的是“如何在该模型之上构建有用的 AI 应用”。资料建议将二者结合使用：用你偏好的推理服务器运行模型，然后把 PrivateGPT 指向它。
- 对比 Onyx、Open WebUI：两者都有价值，但属于以应用为先、聚焦聊天和企业搜索的体验；PrivateGPT 是以 API 为先，提供这些产品之下的标准化本地后端，而非最终产品本身。
- 对比 Zylon：PrivateGPT 由 Zylon 团队维护。PrivateGPT 是开源应用 API 层：消息、摄取、工具、检索、引用、数据库访问、表格分析、MCP、技能与自定义工具。Zylon 是端到端 AI 基础设施，将硬件与软件层编排为面向受监管组织的完整生产平台；在 PrivateGPT 之上，Zylon 增加了：基于 NVIDIA Triton + vLLM 的集成推理服务器以运行开放权重模型；并发、批处理与负载均衡能力；包含 20 多个生产服务并受支持的 Kubernetes 自包含部署；用于安装、更新、模型选择和平台配置的 CLI；用于治理和开发者平台的 API 网关；面向非技术终端用户的工作区应用；LDAP/Active Directory 集成与 RBAC 用户管理；遥测、可观测性与运维监控；用于合规的 SIEM 审计日志；SharePoint、Confluence、FTP 和 Samba 连接器；无需外部云依赖的断网（气隙）运行；集成 n8n Community Edition 用于工作流自动化。资料给出的选择建议是：如果需要开源本地 AI 应用层和开发者 API，使用 PrivateGPT；如果需要围绕它的完整企业 AI 基础设施（部署、治理、运维、用户管理、集成、可审计性与支持），使用 Zylon。
社区与贡献 资料列出以下渠道：Discord（提问、展示与发布讨论）、Documentation（完整参考、指南与 API 文档）、Issues（缺陷报告与功能请求）、Community Forks（社区中有趣的 fork 与衍生项目）。欢迎提交 Pull Request；如果 PR 不符合上游路线图，可以将 fork 添加到 Community Forks 页面。另有安全政策条目，但资料未展开其内容。
限制与暂未提供的信息 PrivateGPT 不自行运行模型，必须依赖外部兼容 OpenAI 的推理服务器。UI 是演示器而非核心产品。资料未提供具体的安装命令文本、定价或收费信息、性能数据以及平台支持范围，这些均暂未提供。
