用途:用于设计批处理或流式数据管道、构建数据仓库或湖仓(lakehouse)架构、实现数据质量、血缘与治理。不适用于只需探索性数据分析、只做不含管道的机器学习模型开发,或无法访问数据源与存储系统的情况。
主要能力:涵盖现代数据栈与架构(Delta Lake、Apache Iceberg、Apache Hudi 湖仓;Snowflake、BigQuery、Redshift、Databricks SQL 仓库;数据网格与实时分析引擎);批处理与 ETL/ELT(Apache Spark 4.0、dbt Core/Cloud、Apache Airflow、Databricks、云 ETL 服务、Great Expectations 质量校验、DataHub/Atlas/Amundsen 数据发现);实时流与事件处理(Kafka、Pulsar、Flink、Kafka Streams、云流服务、CDC、窗口聚合与连接、模式演进);工作流编排(Airflow、Prefect、Dagster、云工作流、Kubernetes CronJobs 与 Argo);数据建模与仓库(星型/雪花模型、Data Vault、SCD、分区与聚簇、增量加载与性能调优);AWS/Azure/GCP 三云数据栈;数据质量与治理(隐私合规、脱敏、行级安全、模式兼容);性能与成本优化;数据库集成、基础设施即代码与数据安全合规等。
使用方式:先定义数据源、SLA 与数据契约,再选择架构、存储与编排工具,实现摄取、转换与校验,最后监控质量、成本与运行可靠性。安全方面需保护 PII、执行最小权限访问,并在写入生产目标前校验数据。
限制:资料未提供具体安装命令、定价或平台入口信息;具体实现依赖可访问的数据源与存储系统。