用途:Polars 是面向 Python 和 Rust 的高性能 DataFrame 库,基于 Apache Arrow 构建,适用于数据仍能放入内存、但 pandas 处理速度不足的场景,可用于数据处理、pandas 迁移和数据管道优化。
主要能力:提供表达式 API(pl.col 引用列,可在 select、with_columns、filter、group_by 等上下文中组合复用);支持惰性求值(LazyFrame 先构建查询计划再优化执行,含谓词下推、投影下推和并行执行)与即时求值(DataFrame);支持分组聚合、over() 窗口函数、连接、拼接、透视与逆透视;支持 CSV、Parquet、JSON、Excel、数据库、云存储(S3、Azure、GCS)和 BigQuery 等数据读写。
使用方式:安装命令为 uv pip install polars。基本用法包括 pl.DataFrame 创建数据、df.select 选列、df.filter 过滤、df.with_columns 新增或修改列、df.group_by().agg() 聚合。惰性模式用 pl.scan_csv 读取,链式操作后调用 .collect() 执行;大数据可用 .collect(streaming=True)。
适用场景:数据能放入内存但需要更快处理、复杂查询管道、只需部分列或行、性能敏感的数据分析。
限制:官方资料未提供具体性能基准、收费或价格信息;Polars 无索引、类型严格、不做静默类型转换,从 pandas 迁移时需注意语法差异;在热路径中应避免 Python 函数,优先使用原生表达式操作。