用途:为机器学习数据管道提供效率模式,帮助在 Polars、Arrow 与 ClickHouse 之间做选型与集成。触发场景包括数据管道设计、Polars 与 Pandas 对比、Arrow 格式使用。
主要能力:给出 Polars 与 Pandas 的决策树(按数据量、操作类型、生态集成选择);零拷贝管道架构,用 ClickHouse Arrow 流经 Polars 再到 PyTorch 张量,减少内存拷贝;ClickHouse 集成三种模式(Arrow 流、Polars 原生 read_database_uri、Parquet 批量导出);PyTorch DataLoader 集成,含最小改动封装与基于 Arrow 的 PolarsDataset;惰性求值与 scan_* 流式分块处理;Pydantic 配置与 DataFrame 模式校验;性能基准与迁移清单;反模式与故障排查。
使用方式:按技能内模式编写代码,例如用 client.query_arrow 取 Arrow 表后 pl.from_arrow 零拷贝转换,或 pl.scan_parquet 组合惰性变换、仅在需要时 collect。注意该技能附带 PreToolUse 钩子强制优先使用 Polars,若需用 Pandas,须在文件顶部加 # polars-exception: <原因> 注释。
适用场景:大规模数据读取与聚合、ClickHouse 到训练集的加载、内存受限的 PyTorch 训练、Pandas 代码迁移。
限制:资料未提供具体版本要求、安装命令与官方文档链接;基准数据来自特定环境(50M 行、20 列、MacBook M2),实际效果可能不同;钩子行为与例外机制依赖该技能运行环境。