dask
Dask 是一个用于并行与分布式计算的 Python 库,可将 pandas、NumPy 等操作扩展到超出内存的数据集。它支持单机处理大于内存的数据、利用多核并行加速计算,并可跨多台机器进行分布式计算,规模从笔记本(约 100 GiB)到集群(约 100 TiB)不等,同时保持熟悉的 Python API。该技能适用于处理超过可用内存的数据集、将 pandas 或 NumPy 操作扩展到更大数据、并行化计算、高效处理多个文件(CSV、Parquet、JSON、文本日志)以及构建带任务依赖的自定义并行工作流。Dask 提供五个核心组件:DataFrames(并行 pandas 操作)、Arrays(并行 NumPy 操作)、Bags(非结构化数据的并行处理)、Futures(基于任务的并行化)和 Schedulers(执行后端)。