用途
当交付依赖经典企业级 ETL 工具而非仅依赖现代代码优先平台时，可使用本技能。它帮助智能体推理映射逻辑、调度依赖、重启行为、元数据导出、迁移顺序，以及传统 ETL 平台与较新的 Spark、dbt、Airflow 或湖仓栈之间的共存问题。
适用时机
- 使用 Informatica、Talend、DataStage、SSIS 或 Matillion 时
- 对现有 ETL 映射和工作流进行逆向工程时
- 现代化或迁移遗留 ETL 作业时
- 为 GUI 驱动的管道添加质量、血缘和运营控制时
- 运行新旧工具必须共存的混合环境时
不要因为企业 ETL 逻辑大多通过 UI 配置就假设它很简单。
工作流程
-
盘点实际交付面。记录：映射与转换、参数文件与环境变量、调度依赖、重启与检查点行为、外部脚本与加载后动作。
-
从平台实现中恢复业务逻辑。识别：连接与过滤、代理键逻辑、SCD 行为、拒绝处理、嵌入映射中的数据质量规则。
-
明确环境与部署假设。记录：各环境的连接差异、凭据处理、提升规则、元数据依赖、非显而易见的手工运行手册。
-
安全规划共存或迁移。决定：哪些保留在遗留平台、哪些迁移到代码优先管道、如何验证一致性、切换与回滚如何进行。
-
在作业周围添加可观测性与控制点。包括：运行元数据、对账检查、血缘捕获、故障分类、可重复的部署证据。
常见合理化借口
- “ETL 工具已经处理了一切。”——GUI 工具仍会隐藏逻辑、依赖和故障模式，必须将其显式化。
- “我们以后重写就行。”——遗留 ETL 资产中隐藏假设未被记录的时间越长，迁移就越困难。
- “映射本身不言自明。”——参数文件、调度器行为和拒绝处理往往承载关键业务逻辑。
危险信号
- 映射逻辑依赖未记录的手工步骤
- 环境提升靠手工完成且无一致性验证
- 重启或拒绝行为未知
- 迁移计划忽略对账与回滚
验证
- 映射逻辑、依赖和重启行为已盘点
- 隐藏的环境与调度器假设已记录
- 共存或迁移边界已明确
- 交付周围存在对账、血缘和运营控制
- 迁移的切换与回滚计划已定义