用途:设计或实现作为控制面服务的 LLM 网关,替代功能代码中直连 OpenAI / Anthropic / Bedrock SDK 的调用,为现有 AI 功能增加多提供商回退(如 Anthropic → Bedrock → OpenAI),并在单一收口点统一执行租户 token 上限、区域路由与审计。不适用于整体 AI 架构(应先用 ai-on-saas-architecture)、直接探索提供商 API(用 ai-llm-integration)或提示词设计(用 ai-prompt-engineering)。
主要能力:定义内部网关契约(HTTP + SDK、请求/响应信封,如 POST /v1/generate 与 X-Tenant-Id、X-Feature-Id、X-Trace-Id 头);实现请求流水线(认证 → 模型解析 → 限流 → 入站安全 → 提供商调用 → 出站安全 → 成本计算 → 审计 → 响应);构建提供商适配层,使新增提供商改动小于 200 行;按套餐配置回退链;按租户设置 token/USD 硬上限与 80% 软上限;按 tenant_ai_binding.region 做区域路由(strict / degraded / permissive);同步写入审计与成本账本;提供 60 秒内生效的 kill-switch。
使用方式:按工作流依次定义契约、实现流水线、构建适配层、加入回退链、上限、区域路由、审计与成本捕获、kill-switch,并记录 SLA 与运维手册。质量目标包括热路径开销低于 50ms p95、100% 请求被审计与成本归因、网关为唯一出站路径(lint 规则拒绝在网关仓库外导入提供商 SDK)。
限制与反模式:避免在网关内写功能专属代码路径、无回退链、夜间从日志补算成本、仅在提供商层限流、尽力而为的异步审计写入、无降级模式的硬上限、向功能代码泄漏提供商专属错误结构。具体价格、平台与部署细节资料未提供。