用途:把训练好的机器学习模型打包为可对外提供推理服务的生产部署,支持本地 Docker、Kubernetes 集群与无服务器平台等目标环境。
主要能力:
- 模型序列化与打包:导出为 ONNX、TorchScript、SavedModel 或 joblib pickle,并将预处理管线与配置文件一同打包,保证推理自包含。
- 构建服务 API:用 FastAPI 或 Flask 加载模型并暴露预测端点,包含健康检查、基于 Pydantic 的请求/响应校验、结构化日志与错误处理。
- 容器化:编写 Dockerfile,从固定版本的 requirements.txt 安装依赖,采用多阶段构建减小镜像并排除训练依赖。
- 编排与扩缩容:编写 Kubernetes Deployment/Service 清单,配置资源请求与限制、就绪与存活探针,以及基于 CPU、内存或延迟等指标的 HPA。
- 部署与验证:推送镜像到仓库、应用清单或部署到无服务器平台,并对线上端点做冒烟测试。
- 监控与迭代:接入 Prometheus、Grafana 等跟踪延迟、错误率、吞吐与预测分布漂移,支持蓝绿或金丝雀发布。
支持技术:API 框架 FastAPI、Flask、TorchServe、TensorFlow Serving、Triton;容器 Docker、Podman;编排 Kubernetes、Docker Compose、AWS ECS、Google Cloud Run;无服务器 AWS Lambda、Google Cloud Functions、Azure Functions;监控 Prometheus、Grafana、Datadog、AWS CloudWatch;模型注册 MLflow、SageMaker Model Registry、Weights & Biases。
使用方式:向智能体提供训练好的模型产物、依赖与目标部署环境,由其生成服务代码、容器配置与部署清单并指导部署流程。
限制与注意事项:大模型文件(超过 1GB)不宜打进镜像,建议运行时从云存储下载或挂载卷;无服务器冷启动可能长达 10-30 秒;推理期预处理必须与训练期一致;需处理 SIGTERM 优雅关闭;GPU 训练的模型部署到纯 CPU 环境时需显式映射到 CPU 并提前测试。具体命令与清单示例以资料中给出的 app.py、Dockerfile、k8s-deployment.yaml 为准。