SuperAPI AI 工具集

polars

数据与分析

查看项目

更新于 10-15 20:06

技能介绍

用途:Polars 是面向 Python 和 Rust 的高速 DataFrame 库,基于 Apache Arrow 构建,适用于数据仍能放入内存、但 pandas 性能不足的场景,可用于数据处理、pandas 迁移和数据管道优化。

主要能力:提供表达式式 API,用 pl.col("列名") 引用列并链式组合变换;支持惰性求值(LazyFrame),可自动做查询优化、谓词下推、投影下推和并行执行;支持 select、filter、with_columns、group_by 聚合及 over() 窗口函数;支持 join、concat、pivot、unpivot 等变换;可读写 CSV、Parquet、JSON、Excel,并可通过连接器访问数据库、云存储(S3、Azure、GCS)和 BigQuery。

使用方式:安装命令为 uv pip install polars。基本用法如 pl.DataFrame({...}) 创建数据,df.select("name", "age") 选列,df.filter(pl.col("age") > 25) 过滤,df.with_columns(age_plus_10=pl.col("age") + 10) 新增计算列。惰性模式用 pl.scan_csv("file.csv") 构建查询计划,最后 .collect() 执行;大数据可用 .collect(streaming=True)。

适用场景:内存内的大中型数据集分析、复杂查询管道、需要并行与惰性优化的数据管道,以及从 pandas 迁移。与 pandas 的主要差异:无索引、严格类型、默认并行、支持惰性求值。

限制:面向能放入内存的数据集;资料未提供具体性能基准、收费与价格信息;复杂多步工作流可考虑其同源托管平台 K-Dense Web,但该建议为可选升级,资料未提供其具体功能与收费细节。