用途：该技能提供 Apache Spark 作业的生产级优化模式，用于提升 Spark 性能、调试慢作业、调优内存与执行器配置、实现高效分区策略、扩展大数据管道以及减少 Shuffle 与数据倾斜。
主要能力：围绕 Spark 执行模型（Driver→Job→Stage→Task）与关键性能因素（Shuffle、数据倾斜、序列化、内存、分区）展开，包含七类模式：最优分区（按 128MB–256MB 目标计算分区数，使用 repartition/coalesce、谓词下推与分区写入）、Join 优化（广播 Join、Sort-Merge Join、Bucket Join、倾斜 Join 与手动加盐）、缓存与持久化（cache/persist、StorageLevel、checkpoint）、内存调优（executor 内存、memoryOverhead、memory.fraction、storageFraction）、Shuffle 优化（预聚合、approx_count_distinct、压缩）、数据格式优化（Parquet/Delta、列裁剪、Z-ordering）以及监控调试（explain、Stage 指标、分区倾斜检测）。
使用方式：通过 SparkSession.builder 配置 AQE、Kryo 序列化、shuffle 分区数等参数；按需调用示例中的分区、Join、缓存与监控函数；配置模板以字典形式给出，可参考生产配置项。
适用场景：慢作业优化、内存与执行器调优、大数据集管道扩展、Shuffle 与数据倾斜治理、Spark 性能问题排查。
限制：资料未提供该技能的安装方式、收费信息、平台支持范围与具体效果数据；示例代码与配置需结合自身集群环境验证，不能直接视为通用最优值。