用途:创建、配置和更新 Databricks Lakeflow Spark Declarative Pipelines(SDP/LDP,也称 LDP),默认使用无服务器计算,覆盖流式接入、流式表与物化视图、CDC/SCD 等数据管道场景。
主要能力与规则:SDP 对象必须用 CREATE OR REPLACE 之外的正确语法,即 CREATE OR REFRESH STREAMING TABLE 与 CREATE OR REFRESH MATERIALIZED VIEW,不可用 CREATE OR REPLACE。主张最小化建表,避免过度设计,只有明确要求 pipeline、medallion 架构或完整接入时才建 bronze→silver→gold 链路。语言按用户需求选择 SQL 或 Python;简单建表选 SQL,涉及 Python、UDF、pandas、ML、pyspark 时选 Python。默认无服务器,仅在明确需要 R、Spark RDD API 或 JAR 库时用经典集群。window 聚合用流式表,全表聚合用物化视图,CDC/SCD2 用 AUTO CDC。
使用方式:三种工作流——独立新项目用 databricks pipelines init 初始化 DAB;已有 bundle 中追加 pipeline;原型迭代用 MCP 工具。列举了常用命令如 databricks fs ls、databricks experimental aitools tools query / discover-schema、databricks pipelines init|deploy|run|logs|stop。Python 导入为 from pyspark import pipelines as dp,装饰器 @dp.table()、@dp.materialized_view()、@dp.temporary_view()。
校验与限制:运行后必须校验执行状态与实际数据,用 get_table_stats_and_schema 检查空表、行数、缺列和关键列 NULL,并向上游追溯。常见问题包括空输出表、列不存在、流式读取失败、MV 不刷新、SCD2 查询列找不到(应为 __START_AT/__END_AT)等。性能建议使用 CLUSTER BY(Liquid Clustering)而非 PARTITION BY + ZORDER,并避免使用 dlt 遗留 API。资料未提供收费、价格或具体效果数据。