SuperAPI AI 工具集

chdb-datastore

数据与分析

查看项目

更新于 10-15 19:49

技能介绍

用途:chdb DataStore 面向已有表格数据(pandas DataFrame、parquet、csv、Arrow、json 等)的用户,提供惰性、由 ClickHouse 支撑的 pandas 替代方案。核心思路是把 import pandas as pd 改为 import chdb.datastore as pd,其余代码保持不变;操作会编译为优化 SQL,仅在需要结果时(如 print()、len()、迭代)执行。

主要能力:支持过滤、选列、排序、groupby、assign 计算列、字符串与日期访问器、join、head 预览等,资料称支持 209 个 DataFrame 方法。可从本地文件(自动识别 .parquet、.csv、.json、.arrow、.orc、.avro、.tsv、.xml)、MySQL、S3 等 16+ 数据源连接,并支持跨源 join。可用 ds.to_sql() 查看生成的 SQL。写入方面提供 insert_into 与 select_from 组合。

使用方式:先 pip install chdb。连接示例:DataStore.from_file("sales.parquet")、DataStore.from_mysql(host="db:3306", database="shop", table="orders", user="root", password="pass")、DataStore.from_s3("s3://bucket/data.parquet", nosign=True)、DataStore.uri("mysql://root:pass@db:3306/shop/orders")。导入可用 from datastore import DataStore 或 from chdb.datastore import DataStore。

适用场景:用 pandas 分析文件或数据库、需要跨数据源 join、pandas 代码过慢时改一行即可加速。

限制与排错:需要原始 SQL 查询时应改用 chdb-sql 技能;数据库连接超时需在 host 中包含端口;join 返回空结果需检查键类型是否一致;结果异常可调用 ds.to_sql() 调试;环境检查可运行 python scripts/verify_install.py。具体收费、平台与效果资料暂未提供。