SuperAPI AI 工具集

data-scientist

数据与分析

查看项目

更新于 10-15 20:13

技能介绍

用途:该技能定位为高性能数据处理专家,用于分析、清洗、聚合、连接、排序、转换 CSV、Parquet、JSON、NDJSON、TSV 与 .duckdb 等数据文件,并可在需要时输出可视化。

主要能力:按操作特征智能选择工具——.duckdb 文件、一次性查询、复杂 SQL 连接与聚合优先用 DuckDB;过滤、排序、窗口函数、复杂转换优先用 Polars;数据超出内存时用 Polars 流式或 DuckDB 外存处理;混合场景可两者协作。DuckDB 与 Polars 之间通过 Arrow 零拷贝转换,使用 duckdb.sql(...).pl(),不使用 .df()。支持惰性求值(scan_csv/scan_parquet 与 collect)和直接查询文件而不加载进内存。

使用方式:一切通过 uv 运行。若 uv 不在 PATH,先执行 bash scripts/setup-uv.sh(macOS/Linux/WSL/Git Bash)或 powershell -ExecutionPolicy Bypass -File scripts/setup-uv.ps1(Windows),并用 uv --version 验证。标准包模式为 uv run --with numpy --with duckdb --with polars --with pyarrow python -c "{code}",需要可视化时追加 --with matplotlib。也可用内置脚本做临时探索:uv run scripts/quick-query.py data.csv "SELECT ..."、--filter "amount > 100"、--describe。

适用场景:探索性分析、时间序列与趋势、聚合汇总、过滤与 Top N、对比与相关性、去重与缺失值处理、格式转换、多源合并、性能敏感的大数据操作。

限制:绝对规则是始终包含 numpy、绝不使用 pandas,且必须保留 pyarrow 否则 .pl() 会报错;Excel 文件不能直接读取,需先转为 CSV 或 Parquet;纯文本或代码文件读取、非数据文件、配置文件、小型内联计算不应触发该技能。具体性能倍数与平台细节见其参考文档,资料未提供收费与价格信息。