用途：面向 Apache Spark 工程师，协助编写作业、排查性能问题、设计大规模 ETL 管道与分布式数据处理方案。
主要能力：提供 DataFrame/SQL、RDD 操作、分区与缓存、性能调优、结构化流处理五类参考文档；给出 PySpark 快速管道、广播连接、加盐处理数据倾斜、缓存模式等示例；附带 MUST DO / MUST NOT DO 约束清单，如生产环境显式定义 schema、小维表（<200MB）用广播连接、避免对大表 collect()、避免滥用 UDF。
使用方式：先分析数据量、转换与延迟需求、集群资源；再设计管道（DataFrame 与 RDD 选择、分区策略、广播机会）；随后实现代码并优化（看 Spark UI、调 shuffle 分区、消倾斜、优化连接与聚合）；最后用生产规模数据验证，检查 shuffle spill、分区数（df.rdd.getNumPartitions()），发现 spill 或倾斜回到优化步骤。文档按上下文加载对应参考文件。
适用场景：生产级 Spark ETL、批处理与结构化流、性能调优与集群配置。
限制：具体集群规模、成本、部署平台与版本支持资料未提供；示例需结合实际环境验证。