IntelliServer

IntelliServer 是一个开源微服务，旨在为多个 AI 模型提供统一访问入口，让开发者能够轻松地将前沿 AI 能力集成到自己的项目中。它采用微服务架构，将 AI 中间件作为独立服务运行，拥有专用资源，从而提升可扩展性。

主要能力包括：

• 聊天机器人：使用 ChatGPT、Llama、AWS Sagemaker 等流行模型实现聊天功能。
• LLM 评估：通过统一服务评估和比较不同 AI 模型，帮助基于数据选择最适合特定用例的模型。
• 语义搜索：在文本文档中利用上下文感知的语义搜索能力。
• 图像生成：使用扩散图像模型根据描述生成高质量图像。
• 聊天上下文：获取聊天机器人对话的相关消息。
• 解析器：将 PDF、Word 等文档转换为文本。
• OCR：使用 AWS 或 Google Vision 从图像中提取文本。

使用方式： IntelliServer 可通过 Docker Hub 拉取发布镜像运行。对于 Mac M 系列处理器，需拉取 arm64 版本。启动容器时需设置两个环境变量：API_KEY 用于保护服务器端点，客户端请求必须包含该密钥；ADMIN_KEY 用于管理操作，例如更改 API 密钥。也可以在仓库根目录的 .env 文件中定义这些密钥。要测试 IntelliServer，可以在 postman 仓库中找到端点集合，或访问 Swagger 交互式文档（localhost/api-docs/）。如需自定义默认密钥和设置，可在克隆的 intelliserver 仓库内创建 .env 文件并填入相应值。

适用场景：

• 需要统一接口访问和切换多种 AI 模型的开发项目。
• 对 LLM 进行对比评估以选择最优方案的场景。
• 构建聊天机器人、语义搜索、图像生成等端到端 AI 功能。
• 需要文档解析或 OCR 文本提取的应用。

限制： IntelliServer 以 MIT 许可证发布。关于具体的模型支持列表、性能指标、收费模式、平台兼容性等更多细节，官方资料中暂未提供。