用途：创建、配置和更新 Databricks Lakeflow Spark 声明式管道（SDP，又称 LDP），默认在无服务器计算上运行，处理流式表、物化视图等。
主要能力：支持 Python 或 SQL 两种语言；提供摄取模式、流式处理、SCD 查询、性能调优、Python API、DLT 迁移、高级配置、项目初始化和 AUTO CDC 等指南；覆盖青铜/白银/黄金分层架构；支持 Auto Loader、Kafka 等摄取方式；推荐使用 Liquid Clustering（CLUSTER BY）。
使用方式：新项目推荐运行 databricks pipelines init 生成 Asset Bundle 项目，再部署：databricks bundle deploy，运行：databricks bundle run my_pipeline_etl，生产部署：databricks bundle deploy --target prod。Python 使用 from pyspark import pipelines as dp，装饰器包括 @dp.table()、@dp.materialized_view()、@dp.temporary_view()。管道参数通过 spark.conf.get("key") 读取。Python 使用 cloudFiles 且模式推断时须指定 schema 位置，推荐 /Volumes/{catalog}/{schema}/{pipeline_name}_metadata/schemas。
适用场景：新建或维护 Databricks 数据管道、流式增量处理、CDC 与 SCD Type 1/2、从 DLT 迁移到 SDP、多环境部署。
限制：默认创建无服务器管道，仅在明确需要 R、Spark RDD API 或 JAR 库时使用经典集群；需要 Unity Catalog；需先确认使用 Python 还是 SQL 并保持一致。官方文档见 https://docs.databricks.com/aws/en/ldp/developer/python-dev。