用途:把已训练或已注册的模型部署为生产级实时推理服务,覆盖从本地测试到 Kubernetes 集群的完整流程。
主要能力:使用 MLflow 内置 serving 快速部署 scikit-learn、PyTorch、TensorFlow 模型;使用 BentoML 构建并容器化高性能服务;使用 Seldon Core 实现多模型服务、A/B 测试与可解释性;配置 Prometheus/Grafana 监控;通过 HPA 实现自动扩缩容;实施金丝雀发布与回滚。
必要用法:需已注册模型或模型产物、Kubernetes 或容器编排平台,并选定服务框架。MLflow 本地测试示例:mlflow models serve --model-uri models:/customer-churn-classifier/Production --port 5001 --host 0.0.0.0。BentoML 构建与容器化:bentoml build;bentoml containerize customer_churn_classifier:latest --image-tag customer-churn:v1.0。Seldon Core 安装:helm install seldon-core seldon-core-operator --repo https://storage.googleapis.com/seldon-charts --namespace seldon-system --set usageMetrics.enabled=true。
适用场景:实时推理 API、批量转实时、低延迟预测服务、多版本管理与流量切换。
限制:需具备集群与监控基础设施;GPU、负载均衡、Ingress 为可选;资料未提供具体收费、价格或平台效果信息。