用途:为 Firecrawl v2 集成提供可靠性控制模式,使每个工作单元可恢复,避免重复采集或重复下游写入。核心要求是让提供方重试、客户端重试、队列重放、Webhook 重投与人工重放共享同一套幂等模型。
主要能力:定义稳定工作标识(租户、来源、操作、策略版本、请求版本);将提交与完成分离,先持久化任务 ID 再确认;按类别区分验证、认证、额度、限制、源站响应、速率/并发、超时、服务端失败与下游错误;仅对文档标注为可重试的错误做带抖动的退避,并设置 Retry-After、最大尝试次数、总截止时间与熔断器;对页面接收、存储、索引、Webhook 处理与墓碑做幂等,按 webhookId 加事件上下文去重;定期对账任务状态、全部分页、接受/拒绝计数、下游回执与花费,并安全取消废弃任务。
使用方式:认证的 Cloud 操作从批准的密钥管理器注入 FIRECRAWL_API_KEY,REST 请求使用 Authorization: Bearer;不得打印、提交、传输密钥或把密钥放入 URL。无密钥访问仅在当前文档明确允许且工作负载接受其限制时使用。使用 Read、Glob、Grep 检查代码与证据,仅在获批时用 Write/Edit 修改。
适用场景:需要可重启的爬取任务、异步 crawl/batch/agent 作业、Webhook 重投与状态对账、分页结果完整性校验的集成。
限制:扩大重试预算、重放生产任务、取消共享工作、以陈旧数据降级或绕过熔断器均需审批。任务 ID 未持久化时不得盲目重复提交;分页不完整须标记为部分结果;无法对账时停止自动重放并升级。测试需覆盖提交后崩溃、写入后崩溃、重复 Webhook、部分分页、提供方中断、陈旧缓存与回滚。具体端点、SDK 方法、套餐限制、价格、保留选项与自托管版本以官方 Firecrawl 文档为准,资料未提供具体数值。