SuperAPI AI 工具集

polars

数据与分析

查看项目

更新于 10-15 22:39

技能介绍

用途:Polars 是一个基于 Apache Arrow 的高性能 DataFrame 库,面向 Python 和 Rust,用于高效数据处理、分析与数据管道优化。

主要能力:提供表达式 API(pl.col 引用列、链式组合转换)、惰性求值(LazyFrame:scan_csv、filter、select、collect,带谓词下推、投影下推与并行执行)、选择与过滤、with_columns 添加或修改列、group_by 聚合、over() 窗口函数、join 与 concat(vertical/horizontal/diagonal)、pivot/unpivot,以及 CSV、Parquet、JSON、Excel、数据库、云存储与 BigQuery 等 I/O。

使用方式:安装命令 pip install polars。基础用法如创建 DataFrame(pl.DataFrame)、选择列 df.select("name", "age")、过滤 df.filter(pl.col("age") > 25)、新增计算列 df.with_columns(age_plus_10=pl.col("age") + 10)。处理大文件优先用惰性方式:lf = pl.scan_csv("large.csv"),再 filter/select 后 collect;必要时用 collect(streaming=True)。Parquet 读写为 pl.read_parquet / write_parquet。

适用场景:大规模数据集处理、复杂查询管道、只读取部分行列的场景、性能敏感的 ETL 与数据分析,以及从 pandas 迁移。

限制:资料未提供具体收费、价格、性能基准数值、平台支持范围及版本兼容性细节,暂未提供;与 pandas 的主要差异为无索引、严格类型转换、默认并行。

分类:数据与分析。