SuperAPI AI 工具集

checkpoint-resume

数据与分析

查看项目

更新于 10-15 20:30

技能介绍

用途:面向基于文件的数据管道,在多工作节点间实现恰好一次处理语义,避免同一文件被重复处理,并支持工作节点崩溃后从检查点恢复。

主要能力:原子文件认领(同一文件仅一个工作节点处理);状态跟踪(pending、processing、completed、failed);带可配置上限的自动重试;开发/测试用的内存回退模式;记录处理统计(总行数、过滤行数、持久化行数、耗时)。

使用方式:以 PostgreSQL/Supabase 建 file_checkpoints 表,并用 claim_file 等数据库函数做原子认领;TypeScript 侧提供 CheckpointManager 类,核心方法为 claimFile、completeFile、failFile、isProcessed。典型流程:先 claimFile 认领,成功则处理文件,完成后 completeFile 写入统计,出错则 failFile 记录错误。数据库不可用时自动回退到内存模式(仅单工作节点)。

适用场景:跨多个工作节点处理大批量文件;需要崩溃后恢复;需要防止重复处理;需要跟踪处理进度与统计。

限制与注意:内存回退仅适用于单工作节点,不能用于分布式协调;重试上限默认 3 次,需避免无限重试;应以 URL 而非文件路径作为键,因为路径在不同环境会变化;认领必须使用原子操作以防竞态。资料未提供安装命令、收费与平台支持等细节。