用途
firecrawl-map 用于发现并列出某个站点上的 URL。当用户知道站点、但不清楚具体页面地址时,可用它来定位目标链接。典型触发场景是“把站点结构列出来”或“找到某个页面的 URL”。
主要能力
- 列出站点的 URL。
- 通过 --search 在大型站点中筛选、查找特定页面。
- 通过 --limit 限制返回数量,通过 --json 以 JSON 格式输出。
- 通过 -o 将结果保存到指定路径。
- 支持站点地图(sitemap)处理、子域名等相关选项,完整选项列表可通过 firecrawl map --help 查看。
使用方式
前置条件:map 需要认证,没有免密钥的免费通道;若未提供凭据,CLI 会提示进行交互式登录。
在大型站点中查找特定页面:
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
获取全部 URL:
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
查看完整选项列表:
firecrawl map --help
完成标志:URL 列表保存到 .firecrawl/ 下,且已选定接下来要抓取(scrape)或爬取(crawl)的 URL。
适用场景
Map + scrape 是常见组合:先用 map --search 找到正确的 URL,再对其进行抓取。
示例:map https://docs.example.com --search "auth" → 找到 /docs/api/authentication → 抓取该 URL。
相关命令:
- firecrawl-scrape — 抓取所发现的 URL
- firecrawl-crawl — 批量提取,替代 map + scrape 组合
- firecrawl-download — 下载整个站点(内部使用 map)
- firecrawl-build-search — 将 URL 发现能力集成到应用中,而非在此处运行
限制
map 需要认证,无免密钥免费通道;未提供凭据时 CLI 会要求交互式登录。其余关于收费、价格、平台及效果的信息暂未提供。