SuperAPI AI 工具集

firecrawl-download

数据与分析

查看项目

更新于 10-15 21:42

技能介绍

用途:将整个网站或某个栏目保存为本地文件,便于离线访问文档或批量提取内容。它先映射站点发现页面,再逐页抓取,文件按嵌套目录存放在 .firecrawl/ 下。

主要能力:支持 markdown、links 等多种格式,每页可分别生成对应文件(如 index.md、links.txt、screenshot.png);支持截图、仅正文、标签过滤、等待、语言与国家等抓取选项;可通过 --limit 限制页数,--search 按查询过滤 URL,--include-paths 与 --exclude-paths 筛选或排除路径,--allow-subdomains 包含子域名。

使用方式:需先安装 CLI:npm install -g firecrawl-cli。基本用法为 firecrawl download <URL>,自动化流程中始终加 -y 跳过确认。示例:firecrawl download https://docs.example.com --screenshot --limit 20 -y;多格式:--format markdown,links --screenshot --limit 20 -y;路径过滤:--include-paths "/features,/sdks";排除翻译:--exclude-paths "/zh,/ja,/fr,/es,/pt-BR"。

适用场景:离线保存文档、批量内容提取并保持目录结构、按栏目或语言筛选下载。

限制:该功能为实验性;属于本地文件系统操作,必须通过 firecrawl CLI 运行,不能使用托管的 Firecrawl MCP(其无法读写本地文件)。若只需发现 URL 用 firecrawl-map,抓取单页用 firecrawl-scrape,批量提取为 JSON 用 firecrawl-crawl。