SuperAPI AI 工具集

firecrawl-scrape

通用与其它

查看项目

更新于 10-16 03:38

技能介绍

firecrawl-scrape 用于从指定 URL 提取干净、面向 LLM 优化的 Markdown 内容,适合已知具体网址并需要其正文的场景,静态页与 JS 渲染的 SPA 均可处理。它也是 search → scrape → map → crawl → interact 工作流中的第二步。

基本用法: firecrawl scrape "<url>" -o .firecrawl/page.md 仅取正文(去除导航/页脚):加 --only-main-content;等待 JS 渲染:--wait-for 3000;多 URL 并发抓取并分别保存到 .firecrawl/;同时取 Markdown 与链接:--format markdown,links -o .firecrawl/page.json;针对页面提问:--query "..."。

主要选项:-f/--format 指定 markdown、html、rawHtml、links、screenshot、json;-Q/--query 就页面内容提问(5 credits);-H 输出含 HTTP 头;--only-main-content 仅保留正文;--wait-for <ms> 等待渲染;--include-tags、--exclude-tags 按标签过滤;-o/--output 输出路径。

建议优先用普通抓取而非 --query:先存文件,再用 grep、head 或直接阅读来检索与推理;仅需单个针对性答案且不保存页面时再用 --query。先尝试 scrape,只有需要点击、填表、翻页等交互时才升级到 interact。多 URL 并发受 firecrawl --status 所示的并发上限限制。单一格式输出原始内容,多格式输出 JSON。URL 需加引号,避免 shell 解析 ? 和 &。命名建议 .firecrawl/{site}-{path}.md。相关技能包括 firecrawl-search(无 URL 时查找页面)与 firecrawl-interact(scrape 无法获取内容时进行交互)。