SuperAPI AI 工具集

ai-inference-service-mesh

通用与其它

查看项目

更新于 10-15 17:24

技能介绍

用途:把服务网格模式应用到 AI 推理流量,在网关、检索器、重排器与模型服务之间实施安全与流量治理,无需改动应用代码。

主要能力:集群级或命名空间级 STRICT mTLS(可对指标端口设 PERMISSIVE);按 ServiceAccount 的 AuthorizationPolicy 白名单与拒绝外部访问检索器;通过 ServiceEntry/DestinationRule 限制出站到已批准模型端点;VirtualService 按请求头或权重做 A/B 与 90/10 金丝雀;DestinationRule 子集、连接池与 outlierDetection 熔断;流式端点禁用重试并设长超时,嵌入端点可重试;地域感知负载均衡与故障转移;Telemetry 自定义指标与追踪。

使用方式:先安装 Istio 并给 ai-inference 命名空间开启 sidecar 注入,再按需应用 PeerAuthentication、AuthorizationPolicy、ServiceEntry、VirtualService、DestinationRule、Telemetry 等资源;用 istioctl verify-install、analyze、proxy-status、proxy-config 及 Kiali 健康接口验证。

适用场景:多模型版本灰度、多租户推理隔离、GPU 服务防级联故障、检索+生成链路延迟观测。

限制与注意:生成类端点超时需 300s 以上,非幂等路由应关闭重试;小规模实例池不宜过度剔除;健康检查与指标端口需豁免严格 mTLS;应启用 holdApplicationUntilProxyStarts 避免启动竞态。具体版本兼容与部署细节暂未提供。