Manifest 是一个开源的 LLM 网关(LLM Gateway),旨在帮助构建者和团队创建可靠的 AI 智能体与工作流,并管理推理消耗。它能让你在几秒内将订阅计划、自带密钥(BYOK)提供商和本地模型连接到你的运行框架,自定义路由并最大化利用现有计划。
主要能力:
- 自动修复(Autofix):在请求返回给调用方之前,Manifest 的智能体会自动修复有问题的请求,减少因客户端错误导致的失败。官方引用 Datadog 数据称约 5% 的 LLM API 调用在生产中失败,多数错误可避免。
- 模型回退:当某个提供商出现故障时,自动重试另一个提供商。
- 请求检查:查看每次调用的完整请求和响应体。
- 本地运行:可将整个 LLM 路由器运行在自己的基础设施或本地机器上,免费且开源;支持路由到 Ollama、LM Studio、llama.cpp 或任意本地服务器,自行决定哪些请求上云、哪些留在本地。
- 自带密钥:支持所有主流提供商的 API 密钥,以及订阅计划的 OAuth 令牌,直接按用量向提供商付费。
- 参数设置:无需改代码即可为每条路由设置合适的模型和参数,可通过界面可视化设置。
- 成本可视化:按智能体、密钥和提供商细分查看每一笔花费。
使用方式:
- 云版本:便于快速上手。
- 自托管版本:基于 Docker,可获取 Manifest 镜像在本地使用。
- 兼容 OpenAI 接口,支持自定义提供商。
适用场景:
- 团队与初创公司:管理推理消耗和设置,通过美观的界面跟踪每次请求和 token。
- 平台与提供商:避免可预防的客户端错误影响用户体验和收入,帮助用户顺畅连接模型。
其他资源:
- 错误目录:按提供商或类型分类的 LLM API 常见可避免错误。
- 免费层 LLM API 目录:文本推理的永久免费请求(非试用或折扣)。
- Modelparams.dev:社区维护的模型参数目录,可通过 UI、API 或 NPM 包获取。
限制:
- 资料未提供具体收费价格、平台支持范围、性能指标或兼容模型的完整列表。