用途:为 Firecrawl v2 设计生产级摄取系统,在请求接入到删除之间建立明确信任边界,使源发现、内容获取、校验与下游发布各自可独立重试和审计。
主要能力:在接入网关集中处理认证、租户隔离、URL 规范化、策略版本、端点与格式白名单、预算与幂等;将发现(map/search)、获取(scrape/batch/crawl/parse)与模型抽取拆分为独立阶段;持久化规范化溯源与任务/页面状态;按租户、规范源、版本与内容哈希去重;在存储或进入智能体上下文前执行模式、来源状态、内容质量、恶意/活动内容与提示注入检查;用 outbox 等机制做索引与发布,支持跨原始、规范化、嵌入、缓存与搜索存储的墓碑删除;观测队列、任务、来源、校验、新鲜度、花费、webhook 与删除 SLI,并测试恢复、对账、取消与区域/供应商故障。
使用方式:先定义租户、源授权、新鲜度、规模、格式、数据分类、SLO/RPO/RTO、保留、删除与成本约束。认证的 Cloud 操作从批准的密钥管理器注入 FIRECRAWL_API_KEY,REST 请求使用 Authorization: Bearer,切勿打印、提交、传输密钥或将其放入 URL。无密钥访问仅在当前文档明确允许且工作负载接受其限制时使用。异步工作使用持久任务记录;SDK 可自动等待与分页,显式 start/status 方法支持持久编排;供应商 webhook 是补充而非对账替代。
适用场景:文档 RAG 管道、需要策略与删除阶段的受治理采集系统;将浏览器直连 crawl 改为服务端受治理网关。
限制:新增端点类别、认证源、模型抽取、长期存储、跨区域流或自托管供应商前需架构与安全/数据审批。阶段缺少持久身份或幂等性时阻止异步上线;供应商完成数与存储计数不一致时先对账分页与下游回执;删除无法传播到派生存储时数据架构评审不通过。工具使用上仅用 Read/Glob/Grep 检查代码与证据,Write/Edit 仅用于获批变更,不得仅因调用本技能就调用 Firecrawl、轮换密钥、改账户设置、抓取目标或部署。具体端点、SDK 方法、计划限制、价格、保留选项与自托管版本以官方 Firecrawl 文档为准,本资料未提供。