Polars 是一个基于 Apache Arrow 构建的高性能 DataFrame 库,适用于 Python 与 Rust,面向 ETL、数据分析与 pandas 迁移场景。
主要能力:用表达式(pl.col、链式方法)描述数据变换,并在 select、with_columns、filter、group_by 等上下文中执行;提供惰性求值(LazyFrame),可自动做谓词下推、投影下推与并行执行。支持分组聚合、over() 窗口函数、连接、拼接、透视与逆透视等常见变换。
数据 I/O 覆盖 CSV、Parquet、JSON、Excel、数据库、云存储(S3、Azure、GCS)与 BigQuery。官方资料给出安装命令:uv pip install "polars==1.41.2",可选集成:uv pip install "polars[excel,database,fsspec,pandas,numpy]==1.41.2"。
用法上,大数据集优先使用 scan_csv 等惰性接口,再 filter/select 后 collect,必要时用 collect(engine="streaming")。性能建议包括尽早选择所需列、尽量留在表达式 API 内、少数情况才用 map_elements(),并选用合适数据类型(如低基数类别用 Categorical)。
从 pandas 迁移需注意:Polars 无索引、严格类型、默认并行、提供惰性执行。资料提供核心概念、操作、迁移、I/O、变换与最佳实践等参考文档。
限制:具体收费与授权信息暂未提供;实际版本行为以资料所述 1.41.2 为准。