用途:把 Kafka 主题中的数据持续流式传输到 S3 存储桶,适合需要将消息数据落盘归档或供后续分析的场景。
主要能力:pipeline.yaml 定义的管道支持消费者组管理、基于时间的分区(按小时或按天)、Gzip 压缩,以及批量写入以提升 S3 写入效率。
使用方式:先配置环境变量,包括 KAFKA_BROKERS、AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY 和 S3_BUCKET,然后运行 ./run.sh 启动管道。
要求:需安装 Expanso Edge(clawhub install expanso),具备 Kafka broker 访问权限,以及拥有 S3 写权限的 AWS 凭证。
限制:资料未提供具体分区粒度配置、批大小、压缩级别、错误重试与监控等细节,也未说明支持的 Kafka 版本、S3 兼容存储或收费情况。