SuperAPI AI 工具集

data-sync-workflows

数据与分析

查看项目

更新于 10-16 09:31

技能介绍

用途:当数据需要在系统之间移动,且应用必须在上游重试、部分失败和重复运行的情况下保持正确性时,使用本技能。适用于数据同步工作流、ERP导入、增量同步、回填与对账任务的规划、实现与审查。

主要能力:提供一组设计问题、核心设计规则、工作流形态、检查点规则、失败处理方式、运行证据要求与审查清单,帮助把同步任务拆解为可重复、可修复、可观测的流程。

设计要点:先确定每个字段的事实来源;明确同步类型(全量、增量、事件驱动、定时或手动);定义跨系统的稳定身份键;确定证明上次成功运行停止位置的检查点或游标;确认操作能否安全重试;明确部分成功的含义;明确操作人员如何看到变更、失败、跳过与待修复项。

核心规则:在实现前定义身份与幂等;仅覆盖范围内的数据持久成功后才推进检查点;将抓取、规范化、校验、应用与证据步骤分离;让每次写入幂等或受确定性冲突规则保护;规范化后将原始外部数据隔离在领域代码之外;上线前设计回填与重放路径;将删除、缺失记录与墓碑视为明确的产品决策。

工作流形态:加载检查点、抓取外部页或范围、规范化记录、校验记录、按稳定身份去重、执行幂等写入、记录逐条证据、推进检查点、输出运行摘要。

检查点规则:优先使用单调游标、更新时间窗口、序列 ID 或来源提供的令牌;包含足够元数据以便恢复而不重读歧义范围;时间窗口同步使用重叠窗口并按稳定身份去重;绝不在未应用记录的情况下推进检查点。

失败处理:将失败分类为可重试、永久、数据质量、认证配置或需要人工决策;保留逐条失败可见性,而非把整个运行折叠为一个通用错误;对暂时性基础设施错误使用有界重试;遇到重复的确定性失败时停止并保留证据以供修复。

运行证据:每次运行应产出摘要,包含运行 ID、来源系统、前后检查点、抓取/创建/更新/跳过/失败记录数、重试次数、失败类别以及详细诊断的链接或 ID。

审查清单:身份键稳定且有文档;同步写入幂等;检查点推进安全;回填与重放行为已定义;部分失败可见且可修复;测试覆盖重复输入、乱序输入、缺失字段、重试与恢复。

限制:资料未提供具体编程语言、框架、代码示例、安装命令或平台支持信息。