用途:Polars 是面向 Python 和 Rust 的列式 DataFrame 库,支持 Arrow 互操作,用于 ETL、数据分析、pandas 迁移和数据管道优化。
主要能力:以表达式(pl.col)为基本构建块,可在 select、with_columns、filter、group_by 等上下文中组合复用;支持惰性求值(LazyFrame),具备谓词下推、投影下推与并行执行等自动查询优化;提供分组聚合、over() 窗口函数、连接、拼接、透视与逆透视等变换;支持 CSV、Parquet、JSON、Excel、数据库、云存储及 BigQuery 等 I/O。
使用方式:安装 uv pip install "polars==1.44.2",按需安装可选集成 uv pip install "polars[excel,database,fsspec,pandas,numpy]==1.44.2"。基本用法如 pl.DataFrame 创建、df.select、df.filter、df.with_columns;大数据建议用 pl.scan_csv 构建惰性计划后 collect(),流式可用 lf.collect(engine="streaming") 或 lf.sink_parquet。
适用场景:大规模数据处理、复杂查询管道、仅需部分行列、性能敏感任务,以及从 pandas 迁移(无索引、类型化列、默认并行)。
限制:云、GPU、BigQuery 与远程数据库示例需自行配置提供方;含未定义列、路径或省略号的片段需按数据集调整;流式结果仍需可放入内存;join 默认不匹配空键,需用 validate 检查基数;fill_null 不修复 NaN;when 不保证 Python 短路;执行成功不等于科学假设已验证。