用途:ai-gateway 用于在 aimlops 集群中集中管理 AI 服务请求,实现路由、安全与监控,适合多模型生产环境、AI 推理微服务以及需要统一 API 入口与流量治理的场景。
主要能力:按路径或请求头规则动态路由请求;通过 JWT 或 API 密钥实施认证、限流与加密;借助日志与 Prometheus 导出器跟踪延迟、错误率等指标;使用 YAML 定义路由与安全策略;在多个 AI 后端间做负载均衡并支持自动故障转移。
使用方式:先通过 CLI 或 API 初始化网关,再定义路由与安全规则。请求需使用 $AI_GATEWAY_API_KEY 环境变量认证。CLI 初始化示例:ai-gateway-cli init --config path/to/config.yaml,随后用 ai-gateway-cli apply 应用变更。常用命令包括 ai-gateway-cli add-route --path /predict --target http://ai-service:8080 --method POST、ai-gateway-cli secure --endpoint /predict --auth jwt --rate-limit 100/min、ai-gateway-cli metrics --format json。API 侧可调用 POST /api/v1/routes、PUT /api/v1/security/{endpoint}、GET /api/v1/metrics?type=latency。也可导入 SDK 以 createRoute() 等方法编程配置。
集成与限制:可作为边车或独立服务部署到 Kubernetes,通过注解如 kubectl annotate pod ai-pod aimlops/gateway=true 接入,并可与 Prometheus 配合采集指标。错误处理需检查 HTTP 状态码(如 401 表示认证失败),CLI 错误需解析输出并修正输入;缺少 API 密钥时应显式校验。资料未提供具体收费、价格、平台支持范围与性能上限等信息。