用途:把 Istio/Linkerd 服务网格控制应用到 AI 推理微服务之间的东西向流量,用于保障与优化网关、检索、重排、模型服务之间的通信。
主要能力:在网关、检索器、重排器与模型服务间强制 mTLS;不改应用代码即可施加细粒度流量策略;为模型服务后端做渐进式交付(金丝雀/A-B);按模型版本、租户或优先级路由;观测检索加生成链路各跳延迟;保护昂贵 GPU 服务免受级联故障。
使用方式:需先确认集群/上下文、网格版本、CRD schema、命名空间与授权变更范围。资料给出的示例为片段而非可整体应用的清单,同一 host 的多个 DestinationRule 需按所装版本的合并规则整合。须在一次性环境预览验证,保护生产路由并留回滚证据。示例命令:istioctl install --set profile=default --set meshConfig.accessLogFile=/dev/stdout --set meshConfig.defaultConfig.holdApplicationUntilProxyStarts=true;kubectl create namespace ai-inference;kubectl label namespace ai-inference istio-injection=enabled;istioctl verify-install;istioctl analyze -n ai-inference。核心模式含 PeerAuthentication(STRICT/端口级 PERMISSIVE)、AuthorizationPolicy(按 ServiceAccount 与服务/路径白名单、DENY 规则)、ServiceEntry(登记外部模型端点)、VirtualService(按 header 选版本、A/B 分组、90/10 金丝雀、重试与超时)、DestinationRule(subsets、连接池、LEAST_REQUEST、熔断与离群检测)、流式请求重试预算、本地优先路由、Telemetry 自定义指标与链路追踪,及 Kiali 健康检查与 istioctl proxy-status/proxy-config 调试。
适用场景:在受支持的集群上设计或排查 mTLS 身份、模型版本路由、推理重试预算、网格出口或可观测延迟。
限制:基础设施命令可能中断服务,变更前须确认目标范围并准备备份/快照;本条目为仅文档导入,上游脚本与模板未随附。路由 header 须在可信网关剥离/校验后再用于模型、分组或租户决策;需测试身份、放行/拒绝、出口绕过、流式中断与重复计费重试;提示、凭证与用户/租户标识不得进入访问日志与高基数遥测;应记录实测检查而非假定集群健康。其他收费、价格、平台信息暂未提供。