用途:该技能是 Spark Structured Streaming 的综合指南,面向生产级流式工作负载,提供从基础管道搭建到生产检查清单的导航式参考。
主要能力:覆盖核心模式与配置主题。核心模式包括 Kafka 流式处理(Kafka 到 Delta、Kafka 到 Kafka、实时模式)、流与流连接、流与静态连接、多目标写入(写入多张表、并行合并)、MERGE 操作(性能、并行合并与优化)。配置主题包括检查点管理最佳实践、有状态操作(水印、状态存储、RocksDB 配置)、触发器选择与成本优化。另附生产检查清单。
使用方式:以代码形式给出快速入门示例,使用 spark.readStream 读取 Kafka,用 from_json 解析 value 字段,再通过 writeStream 以 delta 格式、append 模式输出,并设置 checkpointLocation、trigger 和处理时间等选项。各主题通过引用文件(如 kafka-streaming.md、stream-stream-joins.md、stream-static-joins.md、merge-operations.md、checkpoint-best-practices.md、stateful-operations.md、trigger-and-cost-optimization.md、streaming-best-practices.md)展开。
生产检查清单要点:检查点位置需持久化(用 UC volumes 而非 DBFS);每个流使用独立检查点;流式集群使用固定大小、不启用自动扩缩;配置监控输入速率、延迟与批处理时长;验证 exactly-once(txnVersion/txnAppId);有状态操作配置水印;流与静态连接使用左连接而非内连接。
适用场景:构建流式管道、实现实时数据处理、Kafka 到 Delta 写入、流连接、多目标写入与 MERGE 优化等。
限制:资料未提供具体版本要求、集群规格、性能基准或收费信息;部分主题仅以引用文件形式出现,未展开详细内容。