用途:指导在生产环境构建 Spark Structured Streaming 管道,覆盖从 Kafka 接入到写入 Delta 的典型流程,并汇总各类模式与最佳实践。
主要能力(据资料):Kafka Streaming(Kafka 到 Delta/Kafka、Real-Time Mode);流-流连接与流-静态连接;多目标写入与并行合并;MERGE 性能与并行 MERGE 优化;检查点管理与最佳实践;有状态操作(watermark、状态存储、RocksDB 配置);触发器选择与成本优化(含 RTM);生产检查清单。
必要用法:快速入门示例从 Spark 读 Kafka 开始,使用 from_json 解析 value,再以 writeStream 写入 Delta,指定 outputMode、checkpointLocation、trigger 与目标路径。资料中示例要点包括 .option("kafka.bootstrap.servers", "broker:9092")、.option("subscribe", "topic")、.option("checkpointLocation", "/Volumes/catalog/checkpoints/stream")、.trigger(processingTime="30 seconds")、.start("/delta/target_table")。各主题细节分别见对应 references 下文档,如 kafka-streaming.md、stream-stream-joins.md、stream-static-joins.md、multi-sink-writes.md、merge-operations.md、checkpoint-best-practices.md、stateful-operations.md、trigger-and-cost-optimization.md、streaming-best-practices.md。
生产检查清单(资料原文要点):检查点位置需持久化(UC volumes,非 DBFS);每个流使用唯一检查点;流式处理使用固定大小集群(不用自动伸缩);配置监控(输入速率、延迟、批处理时长);验证 exactly-once(txnVersion/txnAppId);有状态操作用 watermark;流-静态连接用 left join 而非 inner join。
适用场景:构建流式管道、Kafka 摄取、流连接、多表写入、MERGE 优化、成本与触发调优的工程实践参考。
限制:资料未提供安装命令、价格与计费、具体平台支持范围及效果承诺,相关事实暂未提供;所有配置与路径需按实际环境调整。