SuperAPI AI 工具集

firecrawl-map

数据与分析

查看项目

更新于 11-02 09:13

技能介绍

firecrawl-map 是 Firecrawl CLI 中的站点 URL 发现能力,用于列出某个站点下的 URL,并可通过搜索过滤在大型站点中定位具体页面。

用途:当用户知道目标站点、但不清楚具体页面地址时,可用它“梳理站点”或“找到某内容的 URL”。

主要能力:

  • 列出站点 URL,支持通过 --search 在站点内按关键词查找特定页面。
  • 支持 --limit 限制返回的 URL 数量。
  • 支持以 JSON 输出(--json),或写入指定文件(-o)。
  • 可通过 firecrawl map --help 查看完整选项,包括 sitemap 处理、子域名等。

使用方式(示例): 在大站点中查找特定页面: firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt

获取全部 URL: firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json

认证要求:map 需要认证,不提供免密钥的免费层级;没有凭据时,CLI 会提示进行交互式登录。

适用场景:

  • 先 map --search 定位正确 URL,再对该 URL 执行 scrape,是常见组合。例如 map https://docs.example.com --search "auth",找到 /docs/api/authentication 后再抓取该页面。
  • 需要批量提取时,可考虑 firecrawl-crawl;下载整站可考虑 firecrawl-download(内部会使用 map);若要把 URL 发现能力集成进应用,可参考 firecrawl-build-search。

完成标准:URL 列表保存到 .firecrawl/ 目录下,并已选定后续要 scrape 或 crawl 的 URL。

限制:资料未提供具体收费价格、速率限制或平台兼容性信息。