用途:帮助在真实环境中搭建与运营生产级数据湖/湖仓,涵盖摄取、开放表格式存储、目录管理、维护与对外服务。转换(dbt/SQLMesh)与数据质量测试归 data-analytics-engineering,Kafka/Flink 流式归 data-streaming。
主要能力:提供表格式与规格版本选择(Iceberg v2/v3、Delta、Hudi、Paimon)、目录/控制面选择、批式或 CDC 摄取路径设计、Iceberg 表脚手架与元数据检查脚本;给出决策树(Databricks 主平台选 Delta+Unity Catalog;开放多引擎选 Iceberg+REST Catalog+Trino/Spark;CDC 重且 Spark 为主选 Hudi,Flink 为主选 Paimon;单引擎嵌入式用 DuckLake 或 DuckDB+Parquet/Iceberg;高并发低延迟 BI 加 ClickHouse/StarRocks/Doris)。
使用方式:按工作流清单执行架构与摄取、存储与目录、转换与编排、查询与服务、质量安全运维;首次生产写入前安排压缩、快照保留与孤儿文件清理。命令示例:python scripts/scaffold_iceberg_table.py --catalog rest --name analytics.events --columns "..." --partition ts_month,event_type --format-version 2;./scripts/inspect_iceberg_metadata.sh --location s3://... --backend s3;Iceberg 维护用 Spark procedures 如 CALL catalog.system.expire_snapshots(...)、remove_orphan_files(dry_run => true)、rewrite_data_files、rewrite_manifests。
适用场景与限制:技能不携带任何版本号、GA 日期或引擎支持状态,必须按引擎官方文档与发布说明逐一查证,区分规格支持、引擎构建支持与目录/客户端支持,并区分 GA、预览、实验与只读。需用互操作证明矩阵对每个读写路径验证后方可承诺多引擎支持。已知陷阱包括:混用四种格式、被厂商“支持”宣传误导、CDC 无删除处理与重放演练、将 DELETE 当作物理擦除、时间戳游标增量漏掉硬删除、让单引擎 PoC 悄悄变生产、Iceberg 格式版本升级不可逆。若无法联网浏览,须说明并将版本或状态相关建议标记为未验证。