用途:为研究型工作流提供可编程的 Firecrawl 使用模式,完成搜索、单页抓取、学术论文获取、递归深度研究,并把原始结果持久化以便日后重新分析。
主要能力:
- 编程调用公共 Firecrawl API(https://api.firecrawl.dev),无需自托管。主要端点:POST /v2/search(搜索并抓取多页)、POST /v2/scrape(抓取单个已知 URL)。建议直接用 fetch() 而非官方 SDK(SDK 使用 jiti 动态导入,与 Bun 模块解析不兼容)。JS 渲染页面需传 waitFor,否则可能只拿到未水合的页面外壳,且仍返回 200,需自行核对内容。
- 学术论文路由:按来源选择最优方式——arXiv 用 /html/ID 直取 HTML;Semantic Scholar 用其 API;ACL Anthology、NeurIPS/ICML/ICLR、IEEE Xplore、ACM DL 用 Firecrawl 抓取(后两者建议 waitFor: 3000);作者博客可用 Jina Reader 兜底;DOI 先解析到出版商 URL 再路由。
- 递归深度研究协议:deepResearch(topic, breadth=4, depth=2, concurrency=2)。每层生成 breadth 个查询,经 p-limit 控制并发执行搜索,抽取要点与后续问题,再以 breadth=ceil(breadth/2)、depth-1 递归,depth=0 时汇总。每次搜索默认 limit=5、超时 15000ms;单页约裁剪至 25000 token。原则是部分结果优于整体失败,单查询失败应记录并继续。
- 原始语料持久化:所有抓取页面以原始 markdown 存入 docs/research/corpus/YYYY-MM-DD-{slug}.md,带 frontmatter(source_url、scraped_at、scraper、firecrawl_endpoint、search_query、result_index、research_session、depth_level 等),正文不得修改;会话报告置于 docs/research/sessions/,并用 corpus-index.jsonl 追加登记,便于去重与再分析。
- 图片与图表捕获:文本型抓取会丢失架构图、结果图等,如需保留可探测 arXiv HTML 的顺序图 URL(x1.png、x2.png……直到 404),只收集绝对 URL 并以 内联嵌入,frontmatter 记录 figure_count 与 figure_urls,不要改写成相对路径。
使用方式:先按 TodoWrite 模板选择任务模板,再按上述端点和流程执行;命令与代码保持原样。
适用场景:需要批量调研、学术论文采集、可复用原始语料库,或需要重新分析既有抓取内容的场景。
限制:官方说明公共 API 无需 API key 即可应答,但请求限流与排队属于可接受范围,不应为此搭建私有部署;该技能已明确弃用自托管(2026-08-13 退役)。文中提及的 Jina 截断、WebFetch 被阻止等属具体观察,使用前宜自行验证。官方资料未提供定价、配额、平台支持等信息。