概述
Vaex 是一个高性能 Python 库，设计用于惰性、核外（out-of-core）的 DataFrame，以处理和可视化无法装入内存的大型表格数据集。资料称 Vaex 每秒可处理超过十亿行，能够在包含数十亿行的数据集上进行交互式数据探索和分析。
何时使用
资料建议在以下情况使用 Vaex：
- 处理大于可用内存的表格数据集（从 GB 到 TB 级）
- 在海量数据集上执行快速统计聚合
- 为大型数据集创建可视化和热力图
- 在大数据上构建机器学习流水线
- 在数据格式之间转换（CSV、HDF5、Arrow、Parquet）
- 需要惰性求值和虚拟列以避免内存开销
- 处理天文数据、金融时间序列或其他大规模科学数据集
主要能力
资料将 Vaex 的能力划分为六个主要方面，每部分在 references 目录中有详细文档：
- DataFrame 与数据加载：从文件（HDF5、CSV、Arrow、Parquet）、pandas DataFrame、NumPy 数组和字典加载并创建 Vaex DataFrame，高效打开大文件、从 pandas/NumPy/Arrow 转换、使用示例数据集、理解 DataFrame 结构。
- 数据处理与操作：在不将全部数据载入内存的情况下进行过滤、创建虚拟列、使用表达式和聚合；涵盖过滤与选择、虚拟列与表达式、分组聚合、字符串操作与日期时间处理、缺失数据处理。
- 性能与优化：利用惰性求值、缓存策略和内存高效操作；包括理解惰性求值、使用 delay=True 批处理、在需要时物化列、缓存策略和异步操作。
- 数据可视化：为大型数据集创建交互式可视化，包括热力图、直方图和散点图；涵盖一维/二维图、热力图、选择操作、自定义图表与子图。
- 机器学习集成：使用转换器、编码器构建 ML 流水线，并与 scikit-learn、XGBoost 等框架集成；涵盖特征缩放与编码、PCA 与降维、K-means 聚类、与 scikit-learn/XGBoost/CatBoost 集成、模型序列化与部署。
- I/O 操作：以最佳性能高效读写多种格式数据；涵盖文件格式建议、导出策略、Apache Arrow 使用、大文件 CSV 处理、服务器与远程数据访问。
使用方式
资料给出的快速入门模式如下：
import vaex
# 1. 打开或创建 DataFrame
df = vaex.open('large_file.hdf5') # 或 .csv, .arrow, .parquet
# 或者
df = vaex.from_pandas(pandas_df)
# 2. 探索数据
print(df) # 显示首尾行和列信息
df.describe() # 统计摘要
# 3. 创建虚拟列（无内存开销）
df['new_column'] = df.x ** 2 + df.y
# 4. 使用选择进行过滤
df_filtered = df[df.age > 25]
# 5. 计算统计量（快速、惰性求值）
mean_val = df.x.mean()
stats = df.groupby('category').agg({'value': 'sum'})
# 6. 可视化
df.plot1d(df.x, limits=[0, 100])
df.plot(df.x, df.y, limits='99.7%')
# 7. 如需要则导出
df.export_hdf5('output.hdf5')
对于大多数 Vaex 任务，可按上述模式执行：打开或创建 DataFrame、探索数据、创建虚拟列、用选择过滤、计算统计量、可视化、导出。
参考资料的使用
reference 文件包含各能力领域的详细信息，可根据具体任务加载到上下文中：
- 基本操作：先从 references/core_dataframes.md 和 references/data_processing.md 开始
- 性能问题：查看 references/performance.md
- 可视化任务：使用 references/visualization.md
- 机器学习流水线：参考 references/machine_learning.md
- 文件 I/O：查阅 references/io_operations.md
最佳实践
- 对大型数据集使用 HDF5 或 Apache Arrow 格式以获得最佳性能
- 利用虚拟列而非物化数据以节省内存
- 执行多个计算时使用 delay=True 进行批处理
- 导出为高效格式，而不是将数据保留为 CSV
- 使用表达式进行复杂计算，避免中间存储
- 使用 df.stat() 分析内存使用并优化操作
常见模式
将大型 CSV 转换为 HDF5：
import vaex
# 打开大型 CSV（自动分块处理）
df = vaex.from_csv('large_file.csv')
# 导出为 HDF5 以便将来更快访问
df.export_hdf5('large_file.hdf5')
# 之后加载即可瞬间完成
df = vaex.open('large_file.hdf5')
高效聚合：
# 使用 delay=True 批量执行多个操作
mean_x = df.x.mean(delay=True)
std_y = df.y.std(delay=True)
sum_z = df.z.sum(delay=True)
# 一次性全部执行
results = vaex.execute([mean_x, std_y, sum_z])
用虚拟列做特征工程：
# 无内存开销——即时计算
df['age_squared'] = df.age ** 2
df['full_name'] = df.first_name + ' ' + df.last_name
df['is_adult'] = df.age >= 18
资源
资料说明该技能在 references/ 目录中包含参考文档：
- core_dataframes.md - DataFrame 创建、加载和基本结构
- data_processing.md - 过滤、表达式、聚合与转换
- performance.md - 优化策略与惰性求值
- visualization.md - 绘图与交互式可视化
- machine_learning.md - 机器学习流水线与模型集成
- io_operations.md - 文件格式与数据导入导出
适用场景
Vaex 适用于超出内存的表格数据集处理、海量数据统计聚合、大规模数据集可视化、大数据机器学习流水线、数据格式转换，以及天文数据、金融时间序列等大规模科学数据分析。
限制
资料未提供 Vaex 的价格、收费模式、支持的平台、具体性能基准等额外信息，这些暂未提供。资料中关于性能的描述（如每秒超过十亿行）为原文陈述，未提供测试条件。