firecrawl-download 是 Firecrawl CLI 的站点下载技能,通过 firecrawl x download 调用,标注为实验性功能,位于 firecrawl x 命令组下。
用途:把整个站点或其中某个区段保存为本地文件,适合生成离线文档、站点参考副本,或按需保存部分页面。
主要能力:命令会先映射站点源地址以发现页面,再逐页抓取,结果以嵌套目录形式写入 .firecrawl/。支持多种输出格式,每页分别保存文件,例如 markdown 生成 index.md、links 生成 links.txt,配合 --screenshot 生成截图。可用 --include-paths 将非根 URL 限定到指定区段,用 --exclude-paths 跳过翻译等路径,用 --limit 限制页面数量。
使用方式:示例命令包括 firecrawl x download https://docs.example.com --screenshot --limit 20 -y;多格式 firecrawl x download https://docs.example.com --format markdown,links --screenshot --limit 20 -y;限定区段 --include-paths "/features,/sdks" -y;排除翻译 --exclude-paths "/zh,/ja,/fr,/es,/pt-BR" -y。完整选项可通过 firecrawl x download --help 查看。自动化运行应始终加 -y,否则会进入交互向导并阻塞。
限制:必须身份认证,没有免密钥免费层;无凭据时会提示交互式登录。完成标准是命令成功退出,且 .firecrawl/ 下存在预期文件。
相关技能:firecrawl-map 仅发现 URL 不下载;firecrawl-scrape 抓取单页;firecrawl-crawl 批量提取为 JSON 而非本地文件。