用途:使用 Python 与 Ibis 探索、转换和分析 parquet 数据文件,执行聚合、连接等操作。Ibis 是数据库无关的 DataFrame API,会把 Python 操作翻译为后端优化查询,处理 parquet 时默认使用 DuckDB。
主要能力:读取 parquet(con.read_parquet)、查看模式与预览、过滤与聚合、选择列、排序、新增计算列、分组汇总、多文件连接、导出为 parquet 或经由 pandas 导出 CSV。还支持数据质量检查(行数、空值统计、取值分布)、时间维度分析(按月聚合、提取年/月/季度)、窗口函数(组内排名、累计求和)。
必要用法:安装依赖 uv add "ibis-framework[duckdb]"(可视化可选 uv add matplotlib)。基本流程为 con = ibis.duckdb.connect() 后读取文件、构建惰性表达式、调用 .execute() 执行、再用 con.to_parquet 导出。可运行 python scripts/analyze.py 查看完整示例,或复制 scripts/template.py 自定义。
限制与注意:Ibis 操作惰性执行,需调用 .execute() 才真正运行;应尽早过滤以减少数据量;大文件可只读所需列或分块;连接出现模式不匹配时用 .cast() 统一类型;可用 ibis.to_sql 查看生成的 SQL。资料未提供收费、价格、平台与效果信息。