SuperAPI AI 工具集

orchestration-and-backfills

数据与分析

查看项目

更新于 10-16 08:11

技能介绍

用途:确保数据管道的调度、重试与回填行为是刻意设计、安全且可逆的,避免默认重试造成重复写入或掩盖数据问题。

主要能力:定义执行语义(调度或触发类型、水位线行为、迟到数据策略、幂等保证、重试规则、失败通知路径);将常规运行与回填分离,历史重处理不应默认等同于每日增量运行;在发布前设计恢复路径(重启行为、部分失败处理、防重复、发布门控、回滚或暂停步骤);评估成本与影响范围,回填可能压垮仓库、队列、集群或下游消费者;通过试运行、限定切片或非生产环境验证运行策略。

使用方式:在新增或修改调度管道、设计重试或失败处理、引入新依赖链、重处理历史数据、修改发布窗口或切换行为时使用。若涉及 /backfill 或发布边界重放,需先加载 safe-backfill-and-replay-orchestration,并在执行前完成 templates/backfill-plan.yaml。

适用场景:数据工程中的编排与回填设计。

限制:资料未提供具体平台、命令、价格或效果数据;需自行结合环境验证。