用途:把训练好的模型推进到生产环境,生成部署所需的容器、API、监控和 A/B 测试基础设施,覆盖从打包到上线的流程。
主要能力:
- REST API(FastAPI)生成:含 main.py、Pydantic 模型、预测逻辑、Dockerfile、requirements.txt 与测试目录。
- 批量预测:生成 predictor.py、调度配置与监控脚本,面向离线打分。
- 实时流式预测:面向 Kafka/Kinesis,生成消费者、预测器、生产者与 docker-compose 配置。
- 容器化:按指定框架和 Python 版本生成优化 Dockerfile,含健康检查。
- 监控:配置延迟、吞吐、错误率、预测分布、特征漂移等指标,生成 Prometheus、Grafana 面板、告警与漂移检测脚本。
- A/B 测试:按流量比例分流,含路由、指标、显著性检验与实时面板。
- 模型版本管理:注册版本与元数据,支持按版本回滚。
- 负载测试:按 RPS 档位压测,输出延迟分位与错误率,给出单实例 RPS 建议。
- 上线检查清单:版本、依赖、API、输入校验、监控、A/B、回滚方案、性能基准。
使用方式:通过 /ml:deploy-prepare、/ml:create-api、/ml:setup-monitoring、/ml:create-ab-test、/ml:load-test、/ml:deploy 等命令,或调用 create_model_api、create_batch_predictor、containerize_model、setup_model_monitoring、create_ab_test、ModelVersion.register、load_test_model 等接口生成产物,并生成部署增量目录。
适用场景:需要将 sklearn/xgboost 等模型以 API、批处理或流式方式上线的工程团队。
限制:具体平台要求、收费与价格、实际性能效果暂未提供;需结合自身基础设施验证。