h2ogpt

h2oGPT 是由 H2O.ai 开发的 Apache V2 开源项目，定位为使用本地私有 GPT 大语言模型查询和总结文档，或者直接与本地私有 LLM 聊天。

用途 可用于与本地私有 GPT 大语言模型对话，也可对文档进行查询与总结，覆盖 PDF、Excel、Word、图片、视频帧、YouTube、音频、代码、文本、MarkDown 等多种文档类型，官方描述为 100% 私有、Apache 2.0 许可。

主要能力

• 私有离线文档数据库，支持 PDF、Excel、Word、图片、视频帧、YouTube、音频、代码、文本、MarkDown 等。
• 使用准确嵌入（instructor-large、all-MiniLM-L6-v2 等）的持久化数据库（Chroma、Weaviate 或内存 FAISS）。
• 使用 instruct 调优的 LLM 高效利用上下文（无需 LangChain 的 few-shot 方式）。
• 并行总结与提取，13B LLaMa2 模型下输出可达每秒 80 token。
• 基于 LLM 响应的 HYDE（Hypothetical Document Embeddings）增强检索。
• 语义分块（Semantic Chunking）以更好地切分文档（需要 GPU）。
• 支持多种模型：LLaMa2、Mistral、Falcon、Vicuna、WizardLM，支持 AutoGPTQ、4-bit/8-bit、LORA 等；GPU 支持 HF 与 LLaMa.cpp GGML 模型，CPU 支持 HF、LLaMa.cpp 与 GPT4ALL 模型。
• Attention Sinks 支持任意长度生成（LLaMa-2、Mistral、MPT、Pythia、Falcon 等）。
• Gradio UI 或 CLI，所有模型均可流式输出。
• 通过 UI 上传和查看文档，可控制多个协作或个人集合。
• 视觉模型：LLaVa、Claude-3、Gemini-Pro-Vision、GPT-4-Vision。
• 图像生成：Stable Diffusion（sdxl-turbo、sdxl、SD3）、PlaygroundAI（playv2）、Flux。
• 语音 STT：使用 Whisper，支持流式音频转换。
• 语音 TTS：使用 MIT 许可的 Microsoft Speech T5，多音色并支持流式音频转换；另支持 MPL2 许可的 TTS，包含声音克隆与流式音频转换。
• AI 助手语音控制模式，可免手操控 h2oGPT 聊天。
• Bake-off UI 模式，可同时对比多个模型。
• 通过 UI 轻松下载模型工件并控制 LLaMa.cpp 等模型。
• UI 中通过用户名/密码进行认证，支持原生或 Google OAuth；并按用户/密码保留状态。
• Open Web UI 可将 h2oGPT 作为后端，经由 OpenAI Proxy 使用。
• 支持通过 OpenAI Proxy 实现聊天补全流式输出、使用 h2oGPT 摄取与 DocTR 高级 OCR 的文档问答、视觉模型、音频转写（STT）、音频生成（TTS）、图像生成、认证与状态保留。
• 支持 Linux、Docker、macOS 和 Windows。
• 推理服务器支持：oLLaMa、HF TGI server、vLLM、Gradio、ExLLaMa、Replicate、Together.ai、OpenAI、Azure OpenAI、Anthropic、MistralAI、Google、Groq。
• OpenAI 兼容服务器代理 API（h2oGPT 可作为 OpenAI 服务器的直接替代）：聊天与文本补全（流式与非流式）、音频转写（STT）、音频生成（TTS）、图像生成、嵌入、带自动工具选择的函数工具调用、AutoGen 代码执行代理。
• JSON 模式：对 vLLM 通过 outlines 进行严格 schema 控制；对 OpenAI、Anthropic、Google Gemini、MistralAI 模型进行严格 schema 控制；对部分较旧的 OpenAI 或 Gemini 模型在模型足够智能（如 gemini 1.5 flash）时提供 schema 控制的 JSON 模式；任意模型可通过代码块提取。
• 与聊天和文档问答集成的联网搜索。
• 代理：搜索、文档问答、Python 代码、CSV 帧；通过单独端口上的 OpenAI 代理服务器提供高质量代理；代码优先的代理可生成图表、研究、通过视觉模型评估图像等（客户端代码 openai_server/openai_client.py），此项无 UI，仅 API。
• 使用奖励模型评估性能；超过 1000 个单元与集成测试保障质量，测试耗时超过 24 GPU 小时。

使用方式 官方建议在 Linux、Windows 和 MAC 上使用 Docker 以获得完整能力。Linux Script 也具备完整能力，而 Windows 和 MAC 脚本的能力少于使用 Docker。 提供 Docker 构建与运行文档（Linux、Windows、MAC）、Linux 安装与运行文档、Windows 10/11 安装脚本、MAC 安装与运行文档，以及任意平台的快速开始。 启动文档涵盖：聊天补全流式输出、使用 h2oGPT 摄取与 DocTR 高级 OCR 的文档问答、视觉模型、音频转写（STT）、音频生成（TTS）、图像生成、认证与状态保留。 运行细节包括：Linux（CPU 或 CUDA）、macOS（CPU 或 M1/M2）、Windows 10/11（CPU 或 CUDA）、GPU（CUDA、AutoGPTQ、exllama）运行细节、CPU 运行细节、CLI 聊天、Gradio UI、客户端 API（Gradio、兼容 OpenAI）、推理服务器（oLLaMa、HF TGI server、vLLM、Groq、Anthropic、Google、Mistral、Gradio、ExLLaMa、Replicate、OpenAI、Azure OpenAI）、构建 Python Wheel、离线安装、低内存、Docker。 官方还提供 LangChain 文档支持、与 PrivateGPT 等的对比、LangChain 支持的文件类型、CLI、数据库控制、FAQ、模型使用说明、添加 LLM 模型（包括使用 GGUF 和 Attention Sinks）、添加嵌入模型、添加提示词、上下文学习、多 GPU、低内存使用、环境变量、服务器与客户端的 HTTPS 访问、实用链接、微调、Triton、商业可行性等文档。 测试命令示例：pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0；conda install -c conda-forge gst-python -y；sudo apt-get install gstreamer-1.0；pip install pygame；GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests；对已运行的本地服务器测试 openai server：pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client；或调整/运行 tests/test4gpus.sh 并行运行测试。

适用场景 适用于需要对本地文档进行私有化查询与总结、使用本地私有 LLM 聊天、上传图片/视频帧/音频/YouTube/代码等多类型资料进行问答、需要视觉理解、图像生成、语音转写与合成、联网搜索、多模型对比评测，以及需要以 OpenAI 兼容 API 方式集成到现有应用的场景。

限制与说明 模型可能在互联网文本上训练，可能包含偏见、种族主义、冒犯性或其他不当内容；生成内容有时可能表现出偏见或产生冒犯或不适当内容。模型是 AI 工具而非人类，可能产生错误、无意义或不相关的回答，用户应批判性评估生成内容并自行决定使用。用户需对使用该工具产生的任何后果承担全部责任。用户应负责任、合乎道德地使用，不用于促进仇恨言论、歧视、骚扰或任何非法或有害活动。若遇到偏见、冒犯或其他不当内容，请通过提供的渠道报告给仓库维护者。开发者保留随时修改或更新免责声明的权利，恕不另行通知。 关于具体收费、价格、平台可用性、效果指标等，官方文本未逐一提供，暂未提供。