SuperAPI AI 工具集

databricks-spark-structured-streaming

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:本技能面向使用 Spark Structured Streaming 构建生产级流式管道的场景,提供各主题的详细模式与最佳实践导航。

主要能力:涵盖 Kafka 流式接入(Kafka 到 Delta、Kafka 到 Kafka、实时模式)、流-流连接与流-静态连接、多目标写入与并行 MERGE、MERGE 性能与优化;配置方面涉及检查点管理、水位线、状态存储与 RocksDB 配置、触发器选择与成本优化;并附生产检查清单。

使用方式:文档给出基础 Kafka 到 Delta 的快速开始示例,主要 API 为 spark.readStream 读取 Kafka,经 from_json 解析后,用 writeStream 以 format("delta")、outputMode("append")、checkpointLocation、trigger(processingTime="30 seconds") 写出。各主题通过独立参考文件展开,如 kafka-streaming.md、stream-stream-joins.md、merge-operations.md 等。

适用场景:流式管道构建、Kafka 数据接入、流式写入 Delta、状态化处理与成本优化。

限制与要求:检查点需持久化到 UC volumes 而非 DBFS,每个流需唯一检查点;流式集群建议固定规格、不使用自动扩缩;需配置输入速率、延迟、批次时长监控;状态化操作需配置水位线;流-静态连接应使用左连接。其它细节资料暂未提供。