SuperAPI AI 工具集

firecrawl-map

数据与分析

查看项目

更新于 10-14 16:41

技能介绍

用途

firecrawl-map 用于发现并列出某个站点上的 URL。当用户知道站点、但不清楚具体页面地址时,可用它来定位目标链接。典型触发场景是“把站点结构列出来”或“找到某个页面的 URL”。

主要能力

  • 列出站点的 URL。
  • 通过 --search 在大型站点中筛选、查找特定页面。
  • 通过 --limit 限制返回数量,通过 --json 以 JSON 格式输出。
  • 通过 -o 将结果保存到指定路径。
  • 支持站点地图(sitemap)处理、子域名等相关选项,完整选项列表可通过 firecrawl map --help 查看。

使用方式

前置条件:map 需要认证,没有免密钥的免费通道;若未提供凭据,CLI 会提示进行交互式登录。

在大型站点中查找特定页面:

firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt

获取全部 URL:

firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json

查看完整选项列表:

firecrawl map --help

完成标志:URL 列表保存到 .firecrawl/ 下,且已选定接下来要抓取(scrape)或爬取(crawl)的 URL。

适用场景

Map + scrape 是常见组合:先用 map --search 找到正确的 URL,再对其进行抓取。

示例:map https://docs.example.com --search "auth" → 找到 /docs/api/authentication → 抓取该 URL。

相关命令:

  • firecrawl-scrape — 抓取所发现的 URL
  • firecrawl-crawl — 批量提取,替代 map + scrape 组合
  • firecrawl-download — 下载整个站点(内部使用 map)
  • firecrawl-build-search — 将 URL 发现能力集成到应用中,而非在此处运行

限制

map 需要认证,无免密钥免费通道;未提供凭据时 CLI 会要求交互式登录。其余关于收费、价格、平台及效果的信息暂未提供。