用途:etl-patterns 是一个生产级 ETL(抽取-转换-加载)模式的编排入口,本身不直接实现全部逻辑,而是根据当前需求把任务路由到两个子技能:etl-core-patterns(可靠性模式)与 etl-incremental-patterns(加载策略)。
主要能力:可靠性方面覆盖幂等、检查点、错误处理与死信队列、分块处理、带退避的重试、结构化日志;加载策略方面覆盖全量刷新、时间戳增量、CDC 事件、并行回填、零停机交换(临时表改名)以及多步管道编排。
使用方式:先按可靠性需求选模式——需要可重复运行用幂等,失败后恢复用检查点,处理坏记录用错误处理加 DLQ,内存管理用分块,网络韧性用重试退避,可观测性用结构化日志。再按加载场景选策略——小表(小于 10 万行)用全量刷新,大表用时间戳增量,实时同步用 CDC,历史迁移用并行回填,零停机刷新用交换模式,多步流程用管道编排。典型管道结构为:初始化检查点与处理器、按时间戳增量抽取、带错误处理地转换、幂等加载(UPSERT)、写入检查点、保存失败记录。幂等可选删除后插入(小数据集)、冲突时 UPSERT(大数据集)或行哈希比对做变更检测。
适用场景:数据仓库同步、历史数据迁移、实时数据同步与多步数据管道。
限制:资料未提供具体实现语言、依赖库版本、性能基准、收费方式与平台支持范围;示例代码仅为示意,实际落地需结合自身技术栈验证。