SuperAPI AI 工具集

containerization

数据与分析

查看项目

更新于 10-16 08:07

技能介绍

用途:为数据工程工作负载提供生产级容器编排方案,结合 Docker 与 Kubernetes 完成数据应用的容器化与云原生部署。

主要能力:编写生产级 Dockerfile(多阶段构建、非 root 用户、依赖缓存优化、健康检查);Kubernetes Deployment 与 CronJob 部署(副本、资源 requests/limits、存活与就绪探针、Pod 反亲和);Helm Chart 结构与 values 配置(含自动伸缩);Docker Compose 本地开发(Postgres、Redis、Airflow);排障指南(OOMKilled、CrashLoopBackOff、ImagePullBackOff、Pending Pod)与调试命令;工具栈含 Docker 25+、Kubernetes 1.29+、Helm 3.14+、ArgoCD 2.10+、Kustomize、containerd 1.7+、Podman 4.8+。

使用方式:按示例编写 Dockerfile、deployment.yaml、cronjob.yaml、Helm Chart 或 docker-compose.yml;调试使用 kubectl describe pod <pod-name>、kubectl logs <pod-name> -c <container-name> --previous、kubectl exec -it <pod-name> -- /bin/sh、kubectl top pods 等命令。

适用场景:PySpark 等数据应用镜像构建、ETL 定时任务、批处理流水线、本地依赖服务搭建。

限制:资料未提供具体收费、价格或平台信息;示例版本为 2025 年参考值,实际效果取决于环境配置。