SuperAPI AI 工具集

vaex-dataframes

数据与分析

查看项目

更新于 10-15 22:40

技能介绍

用途:Vaex 用于处理无法装入内存的表格数据,数据量可达十亿行级。它依托内存映射文件与惰性求值,打开大文件近乎瞬时且占用内存很低,适合天文学星表、金融时间序列等大型科学数据集的交互式探索。

主要能力:支持从 HDF5、Arrow、Parquet、CSV 及数组、pandas、Arrow 表创建 DataFrame;虚拟列在不额外占用内存的前提下做特征工程;布尔过滤与命名选择;聚合与 groupby(含 delay=True 批量单次扫描);字符串与日期时间访问器;基于全量数据分箱的热图与直方图可视化;vaex.ml 提供缩放、编码、PCA 等转换器及 scikit-learn 模型封装。

使用方式:pip install vaex,按需安装 vaex-hdf5、vaex-arrow、vaex-ml、vaex-viz 等扩展。典型做法是先用 vaex.from_csv('data.csv', convert='data.hdf5') 转为 HDF5,之后用 vaex.open 即时加载;聚合值、.values、导出等会触发实际计算。

限制:仅适合单机外存场景;数据能装入内存时更适合 polars,多节点分布式应选 dask。CSV 需转换后才高效。资料未提供收费、价格、平台支持等信息。