SuperAPI AI 工具集

data-scientist

数据与分析

查看项目

更新于 10-15 20:13

技能介绍

用途:通过成本最低且能证明答案的引擎与执行面回答数据问题,在接触数据前先决定计算应放在哪里。

主要能力:DuckDB 负责 SQL 形态工作,可直接查询 CSV/Parquet/JSON、连接、聚合、子查询、窗口函数,超内存可落盘,并支持远程文件;Polars 用于 DataFrame 形态的表达式链变换、重塑与流式数据集;numpy 处理统计检验、线性代数、FFT、随机采样;matplotlib 负责所有图表。

使用方式:默认使用常驻 REPL/求值内核。JavaScript 内核(Bun)先运行 scripts/ensure-js-deps.sh,动态导入 @duckdb/node-api 并连接一次;Python 内核中 duckdb/numpy/matplotlib 通常常驻,Polars 与 pyarrow 由 scripts/ensure-py-deps.sh 安装到用户缓存,再 sys.path.insert 后导入。重型或易崩溃任务用 uv run --with 隔离;无内核时用 bun -e 或 uv run python -c 一次性执行。无内核或 REPL 时可用 uv run scripts/quick-query.py <file> [SQL](--filter、--describe)做即席查询,支持 CSV、Parquet、JSON、NDJSON。

适用场景:CSV/Parquet/JSON 分析、分组、连接、聚合、探索性重复查询、超内存流式处理、远程数据就地查询。

限制:禁止使用 pandas;Excel 文件不能直接读取,需先导出为 CSV 或 Parquet;不要将超过内存的数据集整体载入内存;性能说法随数据形态与硬件变化,重要时应在真实数据上测量。首次使用前应阅读 references/execution-surfaces.md,图表前阅读 references/visualization.md。