用途:该技能面向 Airbyte 的连接配置与数据管道管理,帮助完成源与目标的配对、同步模式选择、模式演进处理以及失败恢复。
主要能力:区分 Full Refresh(全量重写)、Incremental Append(增量追加)与 Incremental Deduped(按主键去重)三种同步模式;支持 CDC 复制方式(如 pgoutput);提供 Docker Compose 部署示例(db、server、webapp 服务及端口 8001、8000);给出 PostgreSQL 源与 Snowflake 目标的配置字段示例;展示 syncCatalog 中 syncMode、cursorField、destinationSyncMode、primaryKey 与调度(units/timeUnit)的写法;并演示通过 Airbyte API(/api/v1/sources/create、/api/v1/connections/create)创建源与连接。
使用方式:按示例填写源与目标连接配置,定义同步目录与调度,再通过界面或 API 创建连接;部署可参考给出的 Docker Compose 片段。
适用场景:需要将数据库等数据源同步到数据仓库的 ETL/ELT 场景,尤其是增量同步与 CDC 需求。
限制与排错:资料提到常见问题包括网络连通、认证权限与有效期、资源限制、模式变更,以及批大小、连接池、游标字段索引等优化与密钥保管、SSL/TLS、网络分段等安全事项;具体版本号、镜像标签与凭据需自行提供,资料未给出完整参数说明与价格信息。