用途:当用户需要的是站点 URL 列表而非页面内容时使用,例如 sitemap 分析、链接规划或为其他工具准备种子 URL。它只做发现(map),不做内容抓取;需要页面正文、元数据或表格请改用 crawlberg crawl。
主要能力:crawlberg map <url> 先抓取并解析 sitemap.xml,跟随嵌套的 <sitemapindex> 条目;如果没有 sitemap 或内容很少,则从种子页 HTML 提取链接。不渲染页面正文,因此数百个 URL 也可在数秒内返回,成本远低于爬取。
使用方式:map 以单个种子 URL 作为位置参数,例如 crawlberg map https://example.com --limit 500 --search docs --format markdown。常用参数:--limit 限制返回数量,未设则不限制;--search 对发现的 URL 做大小写不敏感子串过滤;--respect-robots-txt 默认关闭,访问第三方主机时应加上;--format 默认 json,可选 markdown(每行一个 URL);--timeout 单请求超时毫秒数,默认 30000;--browser-mode 可选 auto/always/never,auto 下若种子页是隐藏链接的 JS 外壳会回退到无头 Chrome,传 never 则保持纯静态;--browser-endpoint 指定外部 CDP ws:// 地址;--config 传入内联 JSON 或 @file.json 的完整 CrawlConfig。
输出:markdown 模式每行一个 URL,便于写入文件或管道传递;json 模式返回结构化 MapResult,含 urls 数组,每项带 url。可用 crawlberg map https://example.com --format json | jq -r '.urls[].url' 提取。
适用场景:先 map 再 crawl 子区域,如 crawlberg map https://example.com --search /docs/ --format markdown > urls.txt,再把过滤后的列表送入有界爬取或单独抓取;也可礼貌审计第三方站点,如 crawlberg map https://unknown.example --respect-robots-txt --limit 200。
限制:map 没有 --depth 或 --max-pages,这些参数限制的是爬取而非 map;范围是种子主机的 sitemap 加种子页上的链接,用 --limit 限制结果量、--search 收窄范围。默认不遵守 robots.txt,访问第三方站点应显式加上该标志。其他收费、平台与具体效果细节资料暂未提供。