用途：该技能面向 Apache Spark 作业性能优化，适用于优化慢作业、调优内存与执行器配置、设计分区策略、排查性能问题、扩展大数据管道以及减少 Shuffle 与数据倾斜。
主要能力：围绕 Spark 执行模型（Driver→Job→Stage→Task）讲解关键性能因素，包括 Shuffle、数据倾斜、序列化、内存与分区。提供多种模式：最优分区（128MB–256MB 每分区，repartition/coalesce、谓词下推、partitionBy 写出）；连接优化（广播连接、排序合并连接、分桶连接、倾斜连接与手动加盐）；缓存与持久化（cache/persist、StorageLevel、checkpoint）；内存调优（executor 内存、memoryOverhead、memory.fraction、storageFraction）；Shuffle 优化（预聚合、approx_count_distinct、压缩）；数据格式优化（Parquet、Delta Lake、Z-ordering）；监控与调试（explain、阶段指标、分区倾斜检测）。
使用方式：通过 SparkSession.builder 配置 AQE、Kryo 序列化、shuffle 分区数等参数；示例命令如 spark-submit --executor-memory 8g --executor-cores 4。资料给出生产配置模板与最佳实践（启用 AQE、使用列式格式、广播小表、监控 Spark UI、合理分区；避免 collect 大数据、滥用 UDF、过度缓存、忽视倾斜）。
适用场景：Spark 批处理与大规模数据管道调优。
限制：仅用于明确匹配 Spark 优化的任务；输出不能替代环境相关的验证、测试或专家评审；缺少必要输入、权限、安全边界或成功标准时应停止并请求澄清。具体收费、价格与平台信息暂未提供。