用途:该技能聚焦 ClickHouse 这一列式 OLAP 数据库,用于高性能分析与数据工程,覆盖表设计、查询优化、数据写入、物化视图、性能监控和常见分析查询等模式。
主要能力: 表设计模式:MergeTree(最常用,按 toYYYYMM(date) 分区、ORDER BY (date, market_id))、ReplacingMergeTree(去重)、AggregatingMergeTree(预聚合,配合 sumState/countState/uniqState 与 sumMerge/countMerge/uniqMerge)。 查询优化:优先使用索引列过滤;使用 ClickHouse 专用聚合函数如 uniq、quantile(0.95)(trade_size);支持窗口函数计算累计值。 数据写入:推荐批量插入,避免循环单条插入;支持流式写入。 物化视图:通过 MATERIALIZED VIEW ... TO 目标表实现实时聚合。 性能监控:查询 system.query_log 排查慢查询,查询 system.parts 查看表大小与行数。 常见分析查询:时间序列(日活)、留存、漏斗、同期群分析。 数据管道:ETL 模式与基于 PostgreSQL LISTEN/NOTIFY 的 CDC 同步。
最佳实践:按时间分区且避免分区过多;排序键把最常过滤列放前面并考虑基数;使用最小合适数据类型、LowCardinality、Enum;避免 SELECT *、FINAL、过多 JOIN 和小批量频繁插入;持续监控查询性能、磁盘与合并操作。
适用场景:大规模数据集的快速分析查询、实时分析、数据工程管道。
限制:仅在任务明确匹配上述范围时使用;输出不能替代针对具体环境的验证、测试或专家审查;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。具体安装命令、收费与平台信息暂未提供。