用途:Polars 是面向 Python 和 Rust 的内存 DataFrame 库,基于 Apache Arrow,适合数据量仍能放入内存、但 pandas 性能不足的场景。
主要能力:提供表达式式 API,用 pl.col 引用列并链式组合转换;支持惰性求值与预查询优化,包括谓词下推、投影下推和并行执行;常见操作涵盖 select、filter、with_columns、group_by 聚合、over 窗口函数,以及 join、concat、pivot、unpivot 等转换。数据读写支持 CSV、Parquet、JSON、Excel、数据库连接器、S3/Azure/GCS 云存储与 BigQuery。
使用方式:安装命令为 uv pip install polars。基本用法中可用 pl.DataFrame 创建数据,用 df.select、df.filter(pl.col("age") > 25)、df.with_columns 等操作;大批量数据建议用 pl.scan_csv 构建惰性查询,再 collect 执行,必要时 collect(streaming=True)。
适用场景:pandas 迁移、数据管道优化、大规模内存内聚合与转换、需要并行与查询优化的分析任务。与 pandas 的主要差异包括无索引、严格类型、惰性求值和默认并行。
限制:资料未提供具体性能基准、版本兼容范围、许可方式及价格信息,暂未提供;具体行为需以实际使用为准。