SuperAPI AI 工具集

databricks-spark-declarative-pipelines

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:该技能用于创建、配置与更新 Databricks Lakeflow Spark Declarative Pipelines(SDP,亦称 LDP),默认使用无服务器计算。可在 Python 与 SQL 之间选择,除非用户明确指定语言,否则先确认后保持同一语言。若为新项目,应按 Quick Start 使用 Databricks Asset Bundles。

主要能力:支持流式表、物化视图、临时视图与 AUTO CDC;覆盖数据摄取(Auto Loader、Kafka、Kinesis 等)、流式处理模式、SCD Type 1/2、性能调优(Liquid Clustering)、从 Delta Live Tables(DLT)迁移,以及高级配置。采用 Medallion 架构,Bronze 原始层、Silver 校验层、Gold 业务层,可用扁平命名或子目录组织。默认使用 CLUSTER BY 而非 PARTITION BY,使用原始 .sql/.py 文件而非笔记本,并要求 Unity Catalog。

使用方式:新项目推荐执行 databricks pipelines init 生成生产就绪的 Asset Bundle 工程,交互式填写项目名、初始 catalog、是否按用户分配 schema 及语言。随后在 src/transformations 编写转换文件,用 databricks bundle deploy 部署(默认 dev),用 databricks bundle run 运行,可用 --target prod 部署生产,并用 databricks bundle validate 校验。Python 管道使用 from pyspark import pipelines as dp,装饰器包括 @dp.table()、@dp.materialized_view()、@dp.temporary_view();参数通过 spark.conf.get("key") 读取,在 Asset Bundle 的 resources.pipelines 配置中设置。也可用 MCP 工具(如 create_or_update_pipeline)进行手工快速原型。

适用场景:数据工程团队搭建受治理的流式数据管道、增量摄取、变更数据捕获、分层建模与迁移 DLT 等。

限制:仅在用户明确要求 R 语言、Spark RDD API 或 JAR 库时才使用经典集群;使用 cloudFiles 且无显式 schema 时必须指定 schema location,建议使用 /Volumes/{catalog}/{schema}/{pipeline_name}_metadata/schemas,不要使用源数据卷。具体价格、配额、版本支持范围及本技能未列出的行为暂未提供。