SuperAPI AI 工具集

large-data-with-dask

数据与分析

查看项目

更新于 10-16 02:36

技能介绍

用途:该技能面向需要处理超出内存规模数据集的 Python 脚本,提供基于 Dask 的优化策略与使用规范。

主要能力:给出若干“铁律”与反模式对照,帮助避免破坏 Dask 延迟计算图的写法。核心要求包括:只在流水线末端调用一次 dask.compute(),避免多次中间 compute();不要用 df.apply(lambda ...) 做逐元素操作,改用向量化操作如 map_partitions、assign 和算术运算符;读取大数据时显式指定分区大小(CSV 用 blocksize=,Parquet 用 chunksize=),防止产生大量小分区或单个巨大分区;不要在未包裹 compute() 的情况下调用 len(df) 或 df.shape,需要时用 df.shape[0].compute();多机或 CPU 密集任务应使用 dask.distributed.Client,默认线程调度受 GIL 限制。

使用方式:资料给出内存协议,开始前执行 cat .claude/context/memory/learnings.md,完成后记录新发现的模式或例外;并提示假设上下文可能中断,未记入内存即视为未发生。

适用场景:适合用 Dask 处理大于内存的 CSV、Parquet 等数据集并希望获得并行与融合优化的 Python 数据流水线。

限制:仅提供策略与规则,具体安装命令、版本要求、平台与价格信息暂未提供。