用途:当难点不在于单个作业,而在于决定转换应在哪里运行、数据资产如何随时间现代化时使用。适用于在ETL、ELT或混合模式之间取舍,从旧ETL工具迁移到仓库、dbt、Spark或湖仓执行,重新设计原始、加工与发布层之间的摄取和转换边界,减少重复转换逻辑带来的运维蔓延,以及在不断破坏既有交付预期的情况下现代化批处理优先的体系。技能强调不要因为仓库强大就假定ELT总是更好。
主要能力与工作流:明确转换问题,厘清源端延迟与数据量、数据质量预期、转换复杂度、成本敏感度、发布或消费延迟;梳理当前执行布局,包括抽取位置、转换位置、跨工具重复的逻辑、血缘或可观测性断点、最难安全变更的作业;选择执行边界,需预加载重塑或保护时用ETL,仓库或湖仓下推可提升可维护性与扩展性时用ELT,抽取、隐私控制或重度预处理必须在持久加载前完成时用混合模式;规划现代化路径,决定哪些暂时留在旧路径、先迁移什么、如何度量一致性、切换与回滚如何运作;在运维层证明新形态,要求对账证据、成本与性能评审、血缘连续性、归属与支持就绪。
限制与提醒:不要假设所有负载都应变成ELT,部分工作仍需预加载塑形、脱敏或协议特定的抽取控制;ETL工具本身未必是问题,真正原因可能是归属不清、契约不佳或跨层重复逻辑;避免一次性重写全部转换,大爆炸式现代化常破坏一致性、运行手册和下游信任。危险信号包括同一业务逻辑同时存在于抽取作业、Spark和仓库SQL中,按工具偏好而非工作负载需求选择ETL或ELT,现代化计划缺少一致性、切换或回滚,敏感字段在未重新审视控制的情况下进入ELT层。验证要点:转换边界符合真实工作负载约束,ETL、ELT与混合选择明确而非假设,迁移顺序、一致性证明与回滚已定义,成本、血缘、控制与支持归属被一并考虑。具体安装命令与代码示例暂未提供。