用途:面向百万行级及以上的大型 CSV 文件,提供高效的分析与处理能力,基于 DuckDB(SQL)和 Polars(DataFrame API)两种工具。
主要能力:数据预览与查看 schema;行数统计;按条件过滤;聚合与 GROUP BY;多文件连接(join);窗口函数;日期时间处理;结果导出为 CSV 或 Parquet。DuckDB 可直接对 CSV 执行 SQL,无需先加载入内存;Polars 支持 lazy 模式处理超出内存的数据。
工具选择:大多数分析型查询默认用 DuckDB,尤其是 SQL 查询、连接和超内存场景;复杂链式 DataFrame 转换更适合 Polars。两者均支持聚合与预览。
使用方式示例:DuckDB 用 duckdb.sql("SELECT column1, COUNT(*) ... FROM 'data.csv' ...").df();Polars 用 pl.scan_csv("data.csv") 配合 filter/group_by/agg 后 collect()。读取 schema 可用 duckdb.sql("DESCRIBE SELECT * FROM 'data.csv'") 或 pl.scan_csv(...).collect_schema()。
性能提示:条件允许时用 Parquet 替代 CSV(读取约快 10 倍);DuckDB 支持通配符批量查询(如 'data_.csv'、'logs/**/.csv')及 SET memory_limit;大文件优先用 scan_csv 懒加载而非 read_csv。
安装:pip install duckdb polars。
限制:资料未提供运行环境要求、具体性能基准、错误处理细节及授权方式;未提供除上述之外的功能说明。