big-data

用途：面向 PB 级工作负载的大数据与分布式计算实践，基于 Apache Spark、Hadoop 及分布式系统模式进行生产级数据处理。主要能力：使用 PySpark DataFrame API 进行数据加载、聚合与窗口函数计算；分区与分桶优化；广播连接、排序合并连接与数据倾斜加盐处理；缓存与持久化策略；Structured Streaming 流式处理；Delta Lake 的 UPSERT（merge）、optimize 与 vacuum。使用方式：通过 SparkSession 构建会话并配置自适应查询执行（AQE）、Kryo 序列化等参数；使用 spark-submit 提交作业，可配置 executor 数量、核心数、内存与动态分配；测试可用 pytest、chispa 在本地会话中验证 DataFrame 结果。适用场景：ETL、事件会话分析、流式指标聚合、大规模增量更新与批处理调优。限制：资料未提供具体收费、价格或平台可用性信息；集群配置、版本数值与调优参数需结合自身环境验证，资料中的性能建议为经验性指引。