用途:当需要的是站点上的 URL 列表而非页面内容时使用,例如 sitemap 分析、链接规划或为其它工具提供种子 URL。
主要能力:crawlberg map <url> 只发现 URL,不渲染、不抽取页面正文。它先读取 sitemap.xml(含嵌套 sitemap),若没有 sitemap 或内容过少,则回退为从种子页面的 HTML 中提取链接。结果可再经 --search 做大小写不敏感的子串过滤,并由 --limit 限制数量。由于不抓取页面正文,数百个 URL 的映射可在数秒内返回,成本远低于爬取。
使用方式:crawlberg map 以单个种子 URL 作为位置参数。命令示例:crawlberg map https://example.com --limit 500 --search docs --format markdown。Markdown 输出每行一个 URL,便于写入文件或作为后续爬取的输入;JSON 为默认格式,返回结构化 MapResult。可用参数包括 --limit(最大返回数,未设则不限制)、--search(对发现的 URL 做大小写不敏感子串过滤)、--respect-robots-txt(默认关闭,访问第三方主机时应启用)、--format(json 或 markdown)、--timeout(单请求超时毫秒,默认 30000)、--browser-mode(auto、always、never)、--browser-endpoint(外部 CDP ws:// URL)、--config(内联 JSON 或 @file.json 传入完整 CrawlConfig)。脚本中可读取 result.urls[i].url,例如结合 jq:crawlberg map https://example.com --format json | jq -r '.urls[].url'。注意 map 没有 --depth 或 --max-pages,这些参数属于爬取而非映射;范围是种子主机的 sitemap 加上种子页面的链接,需用 --limit 和 --search 约束结果。在 --browser-mode auto 下,如果种子页是隐藏链接的 JS 外壳,抓取仍会回退到无头 Chrome;传 --browser-mode never 可保持纯静态。
适用场景:先 map 再爬取某个子区域,将过滤后的列表交给受限爬取或逐条抓取;对第三方站点做礼貌审计;枚举站点表面或为其它工具提供 URL 种子。
限制:若需要页面内容(Markdown、元数据、表格)而非仅 URL 列表,应改用 crawlberg crawl(见 crawling-a-site 技能)。映射本身不返回正文,也不支持按深度或页数控制。