SuperAPI AI 工具集

chdb-datastore

数据与分析

查看项目

更新于 10-15 23:46

技能介绍

用途:当你已有 pandas DataFrame、parquet、csv、Arrow、json 等表格数据,需要过滤、分组、聚合、关联,或想加速缓慢的 pandas 代码时,可使用 chdb DataStore。它是懒执行、由 ClickHouse 支持的 pandas 替代方案。

主要能力:把现有 pandas 代码的 import pandas as pd 改为 import chdb.datastore as pd 后,其余代码不变。操作会编译成优化 SQL,仅在需要结果时(如 print()、len()、迭代)才执行。支持 209 个 DataFrame 方法,涵盖筛选、选列、排序、groupby、assign、字符串/日期访问器、join、head 预览等。可跨数据源关联。

用法:安装 pip install chdb==4.1.9。连接来源可用 DataStore.from_file(自动识别 .parquet、.csv、.json、.arrow、.orc、.avro、.tsv、.xml)、from_mysql、from_s3,或用 DataStore.uri 简写自动识别。导入方式为 from datastore import DataStore 或 from chdb.datastore import DataStore。可用 ds.to_sql() 查看生成的 SQL,用于调试。写入可用 insert_into 与 select_from。

适用场景:本地文件分析、跨源 join(如 MySQL 客户表与 parquet 订单表关联后按国家聚合)、替代慢速 pandas。

限制:需要 raw SQL 查询时官方建议改用 chdb-sql 技能;源贡献流程不在此包内。故障排查:缺少 chdb 时重新安装;数据库连接超时需在 host 中包含端口,如 host="db:3306";join 返回空结果需检查键类型是否一致;结果异常时调用 ds.to_sql() 检查 SQL;可运行 python scripts/verify_install.py 检查环境。其他未提供的功能、收费、平台信息暂未提供。