Meteron 是一个面向 AI 产品的后端平台,提供构建 AI 产品所需的基础设施与计量能力。官方将其定位为强大但易学的 AI 工具集,并配有活跃社区。
主要用途
- 处理 LLM 与生成式 AI 的计量、负载均衡和存储。
- 让开发者摆脱耗时且不必要的流程,使团队能够专注于构建 AI 驱动的产品。
- 官方强调可在数小时内而非数周内构建 AI 应用。
主要能力
- 计量与计费:支持按请求或按令牌收费,并可确保每用户限额。
- 负载均衡与队列:提供标准业务规则,每个请求可指定优先级类别(高、中、低)。高优先级为 VIP 用户,不会产生排队延迟;中优先级用户会有延迟,但始终排在低优先级用户之前;低优先级请求最后处理,可服务于“免费”用户在系统无负载时被处理。
- 限额控制:在 Meteron 中添加模型端点(集群)时,可指定每日和月度限额。发送图像生成请求时,添加带用户 ID(或邮箱)的 X-User 头,平台会确保该用户不会超出限额。
- 集群管理:可通过 Web UI 管理静态或很少变更的服务器,也可通过简单 API 动态实时更新服务器,例如用于 lightning.ai、runpod.io 等 AI 平台场景。
- 生成 API:支持阻塞或非阻塞方式,非阻塞时返回生成图像的引用。开发者可将请求发送到 Meteron 的生成 API,而不是直接发送到推理端点。
使用方式
- 无需专用 SDK,可使用任意偏好的 HTTP 客户端,如 curl、Python requests、JavaScript fetch 库。
- Meteron 属于“低代码”服务,需要一些 HTTP 知识;官方提供了集成示例。遇到困难可加入 Discord 服务器寻求帮助。
- 官方示例包括:使用 Stable Diffusion XL 模型生成并展示图像画廊的轻量 AI 应用(基于 Vuetify、Lightning AI 和 Meteron);用户可注册并使用 Controlnet AI 模型生成房间图像的多租户应用,其中资产、排队和计量由 Meteron 强制执行,生成由 lightning.ai 完成;以及一组关于如何通过 Meteron 发送图像生成请求、查询结果、确保每用户限制、按请求或按令牌收费的单个函数集合。
适用场景
- 需要为 AI 产品添加计量、计费、队列和负载均衡的开发者。
- 希望快速搭建图像生成等 AI 应用并集成现有推理平台的团队。
- 需要多租户能力、按用户限额和优先级服务的应用。
限制与补充
- 使用需要一定的 HTTP 知识。
- 官方明确可免费开始,随时升级。
- 提供本地部署许可,可在任何云提供商上运行“batteries included”系统,需通过邮箱联系获取信息。
- 支付支持所有主要信用卡以及直接电汇。
- 其他未在资料中说明的功能、价格细节或具体性能指标暂未提供。