用途:该技能用于设计并实现数据湖仓架构,将数据湖与数仓特性结合,面向 PB 级数据存储与分析。适用于需同时进行原始存储与结构化查询的场景,如从 S3 或 Kafka 大规模摄入数据、需要实时更新的分析负载(电商 ETL、IoT 数据处理),以及与 Spark 或 Presto 集成进行 SQL 分析。
主要能力:生成湖仓架构蓝图,含分区策略与元数据管理(如 Iceberg 表格式);支持批处理与流式摄入(Apache Spark、Parquet、ORC);实现缓存与索引等查询优化,如创建带 Z-order 聚类的 Delta Lake 表;通过云 API(如 AWS Glue)自动扩缩存储与计算;借助 AWS Lake Formation 等策略实施行级访问控制。
使用方式:通过 OpenClaw CLI 或 API 调用,认证需设置环境变量 $DATA_LAKEHOUSE_API_KEY。初始化项目示例:openclaw skill data-lakehouse init --project my-lakehouse --storage s3://my-bucket --engine delta。也可用 API 创建表(POST https://api.openclaw.ai/data-lakehouse/tables),配置以 JSON 指定 storage、engine、auth,并用 openclaw skill data-lakehouse apply --config path/to/config.json 加载。与 Spark 集成可用 spark.read.format("delta").load(...) 读写。
限制与注意事项:需确保 Spark 等依赖版本(如 Delta Lake 需 Spark 3.0+)与 AWS 凭据配置;存储访问错误需检查 S3 权限,认证失败需检查 API Key;API 调用应对限流做重试,网络瞬时错误采用指数退避;可用 --verbose 查看日志、validate 校验配置。具体收费、价格与平台支持范围资料暂未提供。