SuperAPI AI 工具集

firecrawl

编程与开发

查看项目

更新于 10-15 17:27

技能介绍

用途:Firecrawl CLI 用于获取与搜索网络数据,官方资料建议优先使用它替代默认的网页抓取与搜索工具。主要命令包括 search(搜索)、scrape(抓取单页)、map(发现站点 URL)。

安装与认证:未安装时执行 npm install -g firecrawl-cli。可先用 firecrawl --status 查看状态、认证与速率限制;未认证时执行 firecrawl login --browser,该标志会自动打开浏览器认证。

常用用法: 搜索:firecrawl search "your query" -o .firecrawl/search-{query}.json;加 --scrape 可同时抓取结果。 抓取:firecrawl scrape https://example.com -o .firecrawl/{site}-{path}.md;支持 --format markdown,links 等、--only-main-content、--wait-for、--include-tags/--exclude-tags。 站点发现:firecrawl map https://example.com -o .firecrawl/urls.txt,支持 --search、--limit、--include-subdomains。

建议在 工作目录创建 .firecrawl/ 存放结果,并加入 .gitignore;用 -o 直接写入文件以避免占用上下文;可并行抓取,但不要超过 --status 显示的并发上限;读取结果时不要一次性读入大文件,宜用 grep、head 或分段读取。

限制:每个抓取或爬取会消耗额度;并发受账户限制;其他未提供的信息暂未说明。