firecrawl-map 是 Firecrawl CLI 中的站点 URL 发现能力,用于列出某个站点下的 URL,并可通过搜索过滤在大型站点中定位具体页面。
用途:当用户知道目标站点、但不清楚具体页面地址时,可用它“梳理站点”或“找到某内容的 URL”。
主要能力:
- 列出站点 URL,支持通过 --search 在站点内按关键词查找特定页面。
- 支持 --limit 限制返回的 URL 数量。
- 支持以 JSON 输出(--json),或写入指定文件(-o)。
- 可通过 firecrawl map --help 查看完整选项,包括 sitemap 处理、子域名等。
使用方式(示例): 在大站点中查找特定页面: firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
获取全部 URL: firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
认证要求:map 需要认证,不提供免密钥的免费层级;没有凭据时,CLI 会提示进行交互式登录。
适用场景:
- 先 map --search 定位正确 URL,再对该 URL 执行 scrape,是常见组合。例如 map https://docs.example.com --search "auth",找到 /docs/api/authentication 后再抓取该页面。
- 需要批量提取时,可考虑 firecrawl-crawl;下载整站可考虑 firecrawl-download(内部会使用 map);若要把 URL 发现能力集成进应用,可参考 firecrawl-build-search。
完成标准:URL 列表保存到 .firecrawl/ 目录下,并已选定后续要 scrape 或 crawl 的 URL。
限制:资料未提供具体收费价格、速率限制或平台兼容性信息。