用途:实现当前 Firecrawl v2 的 scrape 与 crawl 流程,适用于采集单个 URL 或对站点做有界递归发现,并保留可审计的运行回执。
主要能力:单页抓取用 scrape;递归发现用 crawl(阻塞等待)或 startCrawl(异步提交),配合 getCrawlStatus 查询状态与分页、cancelCrawl 取消任务。REST 使用 /v2 路由与 Bearer 认证。Node 客户端为 firecrawl 包的 Firecrawl,Python 为 firecrawl-py 的 Firecrawl。
使用方式:先确认目标已获授权,规范化 origin,记录允许/排除路径、子域与外链策略、所需格式与新鲜度。认证场景从密钥管理器注入 FIRECRAWL_API_KEY,REST 请求使用 Authorization: Bearer,密钥不得打印、提交、传输或放入 URL。单页调用 scrape 并校验返回文档、metadata.sourceURL、metadata.statusCode 及必需内容字段;站点抓取需设定明确 limit 与路径/深度策略,并完整翻页,保留 next cursor 直到分页结束,区分部分完成与最终成功。按规范 URL 与内容哈希去重,仅写入获批字段,输出计数、creditsUsed、缓存状态、失败、策略版本与取消结果,且不记录页面正文。
适用场景:抓取发布说明等单页;按路径规则与显式上限爬取文档站点。
限制与边界:认证页面抓取、外链遍历、扩大范围或上限、启用敏感头/动作、保留原始 HTML、截图或个人数据前需审批。工具纪律上,Read/Glob/Grep 用于检查代码与证据,Write/Edit 仅用于获批改动;不得仅因调用本技能就抓取目标、轮换密钥、改账户设置或部署。错误处理:来源错误页按 statusCode 隔离,不当作成功内容索引;异步任务超时则安全取消并持久化游标与回执,恢复需显式决定;输出不符合 schema 或质量检查时仅保留允许证据并转人工复核。具体计划限制、价格、保留选项与自托管版本以官方 Firecrawl 文档为准,资料未提供。