用途:该技能让 OpenClaw 能够设计并实现 ETL 管道,完成数据的抽取、转换和加载,服务数据分析与报表等数据工程流程,重点处理数据库、文件、API 等结构化数据源。
主要能力:从 CSV、JSON、SQL 数据库或 API 抽取数据(可使用 JDBC 等连接器);通过过滤、聚合或 SQL 查询进行转换(如借助 Pandas 或 Spark DataFrame);加载到 PostgreSQL、BigQuery 或 S3 等目标并做模式校验与错误日志;支持类 cron 表达式调度或接入 Airflow 等编排工具;通过最后处理时间戳或变更数据捕获(CDC)实现增量加载。
使用方式:先以 JSON 定义管道配置,再通过 CLI 或 API 执行。创建管道:openclaw etl create --config path/to/config.json --env $OPENCLAW_API_KEY;运行管道:openclaw etl run <pipeline-id> --params '{"batch_size": 1000}';执行前校验配置:openclaw etl validate --file path/to/config.json;查看日志:openclaw etl logs <pipeline-id>。API 端点包括 POST /v1/etl/pipelines 与 GET /v1/etl/pipelines/{id}。可通过 Python SDK 集成:import openclaw。认证需设置环境变量,如 export OPENCLAW_API_KEY=your_key。
适用场景:批处理、实时数据摄入、数据迁移,以及涉及大数据集、与 Spark 或 AWS Glue 集成、为 BI 仪表盘自动化 ETL 的场景。
限制与注意:资料未提供具体收费、价格与性能保证;示例中“1M 行 5 分钟内”等描述仅为原文举例。需自行处理认证、错误码(如 400、500)与重试(可用 --retry 3),并匹配数据格式(如大数据使用 Parquet)。