用途:为 Clay 平台上的高并发富集任务做规模化处理,面向每月 1 万至 10 万条以上线索的场景。Clay 为托管平台,无法自行加服务器,因此扩展依赖表分区、Webhook 管理、批量提交节流、信用额度预算与多表架构。
主要能力:一是容量规划,根据每月线索数与每条信用消耗估算所需信用总量、套餐、预估成本、Webhook 数量与建议表数;资料提示若使用自有 API key 可只消耗 Actions。二是批量队列架构,提供基于 BullMQ 与 Redis 的队列与 Worker 示例,将线索按 100 条分块、支持优先级、重试与指数退避,遇 429 时按 Retry-After 等待,并以约 200ms 每行节流。三是多表策略,按行业或来源拆分出站、入站、活动参与者等表,控制单表规模。四是 Webhook 轮换,每个 Webhook 有 5 万次终身上限,示例按 4.5 万次预留缓冲自动切换。五是流式自动删除,在 Clay UI 中开启 Table Settings > Auto-delete,富集后推送结果再删除行。
前置条件:Clay Growth 或 Enterprise 套餐、理解 Data Credits 与 Actions 模型、Redis/SQS/BullMQ 等队列基础设施、信用消耗监控。
使用方式:按步骤先做容量规划,再实现批量队列与 Worker,随后配置多表与 Webhook 轮换,必要时启用自动删除;示例代码保留原样,实际接入需替换环境变量与端点。
限制与注意:资料明确要求不得将轮换 Webhook 或开启自动删除当作未经评审的容量或数据治理变通手段;需产出含来源、表/Webhook 标识、批量大小、队列与信用护栏、实际吞吐、拒绝/死信数、数据保留决策与回滚责任人的 scale-run 记录;接近预算或 Webhook 上限时应停止接入、安全排空并先制定获批的容量计划。部分价格与估算为示例中的粗略值,实际以官方为准;其余细节暂未提供。