SuperAPI AI 工具集

apache-arrow

数据与分析

查看项目

更新于 10-15 23:46

技能介绍

用途:Apache Arrow 是面向分析型工作负载的跨语言列式内存格式,用于系统间高性能数据交换、零拷贝读取和高效列式处理,主要接口为 Python 的 PyArrow 与 JavaScript 的 Arrow JS。

主要能力:用 PyArrow 创建 Arrow 表并执行向量化计算(pc.filter、pc.sum、pc.mean 等,无需 Python 循环);读写 Parquet(pq.write_table/read_table,支持列选择与谓词下推 filters);读取带类型推断的 CSV;用 iter_batches 流式处理大文件;与 Pandas、Polars 等零拷贝互转(to_pandas、pl.from_arrow、to_arrow);用 pyarrow.dataset 读取和写入 Hive 风格分区数据集并做分区裁剪;用 Arrow IPC 文件/流格式在进程间交换数据。Arrow JS 通过 tableFromIPC/tableToIPC 在浏览器读取和发送 Arrow IPC 数据。

使用方式:安装命令为 pip install pyarrow、npm install apache-arrow,搭配 DuckDB 时可 pip install duckdb。

适用场景与限制:适合分析型数据交换、列式计算、Parquet 存储与分区数据集、微服务间数据交换。资料建议:存储用 Parquet、计算用 Arrow;读取时显式指定列并利用谓词下推;大表用 to_pandas(self_destruct=True) 或分批处理;微服务交换数据优先 IPC;按日期/类别分区。收费、价格、性能指标等资料暂未提供。