SuperAPI AI 工具集

polars

数据与分析

查看项目

更新于 10-16 08:48

技能介绍

用途:Polars 是面向 Python 和 Rust 的高性能 DataFrame 库,基于 Apache Arrow 构建,适用于数据能放入内存、但 pandas 性能不足的数据处理、迁移与管道优化场景。

主要能力:提供表达式 API(pl.col 引用列,可在 select、with_columns、filter、group_by 等上下文中组合复用);支持惰性求值(LazyFrame 先构建查询计划再优化执行,含谓词下推、投影下推与并行执行)与即时求值(DataFrame);支持分组聚合、over() 窗口函数、连接、拼接、透视与逆透视;支持 CSV、Parquet、JSON、Excel、数据库、云存储(S3、Azure、GCS)及 BigQuery 等 I/O。

使用方式:安装命令为 uv pip install polars。基本用法如 pl.DataFrame 创建数据,df.select、df.filter、df.with_columns 做选择、过滤与新增列;大数据建议用 pl.scan_csv 等惰性接口,最后 .collect() 执行,必要时 .collect(streaming=True)。

适用场景:pandas 迁移、复杂查询管道、只需部分行列的大数据集、性能敏感的数据处理。

限制:无索引,仅整数位置;严格类型,不做静默类型转换;热路径中应避免 Python 函数,优先使用原生表达式;.map_elements() 仅在必要时使用。资料未提供具体收费、价格与平台支持细节。