data-throughput-accelerator

用途

Data Throughput Accelerator 适用于当瓶颈在于移动、转换或保存大量数据时。它面向数据摄取、回填、导出、ETL、数仓加载、清单追赶和表同步等任务。其目标不仅是速度，而是让正确的数据更快落到正确位置，并且有证据可查。

首要区分

在优化之前，需要先区分以下环节：

• 源抽取速度；
• 网络传输速度；
• 数仓/加载速度；
• 转换速度；
• 服务表新鲜度；
• 任务运行期间的实时尾部增长。

一个管道可能“很快”，但如果新数据到达速度快于最终追赶窗口，它仍可能看起来落后。

快速路径启发式

• 将计算移到数据已经所在的位置。
• 对于已落地的大文件，优先使用数仓原生的扫描、连接和追加。
• 使用清单或检查点，使已完成的文件/分区被跳过。
• 使用与读取和追加模式匹配的分区和聚簇。
• 批量处理小文件、请求和写入。
• 通过唯一键、清单或可替换暂存使写入幂等。
• 保持原始表、派生表和服务表分别可核算。

工作流

1. 读取当前的源、目标和清单契约。
2. 测量积压：外部文件、清单行、原始行、派生行、最小/最大时间戳和未处理计数。
3. 运行安全的追赶或采样基准。
4. 比较变体：批大小、工作进程数、数仓 SQL、文件分组、暂存形态和清单更新方法。
5. 只推广保持计数和时间戳一致的最快路径。
6. 将该路径固化为 CLI、调度任务、工作流或运行手册。
7. 在固化路径执行后重新运行最终核算。

核算输出

使用硬核算块：

Data throughput result:
- Source files discovered: 294
- Files processed this run: 294
- Raw rows added: 9,683,598
- Derived rows added: 8,917,585
- Remaining tail: 24 files at readback time
- Runtime: 38.7s
- Correctness gate: manifest counts and table max timestamps match

护栏

• 不要为了美化指标而删除原始数据。
• 不要静默跳过失败文件。
• 不要混淆历史回填状态与实时尾部新鲜度。
• 在目标表和清单一致之前，不要称管道已完成。
• 对于金融、医疗、受监管或影响客户的数据，保留重放证据和审批门禁。