SuperAPI AI 工具集

mapping-urls

通用与其它

查看项目

更新于 10-16 07:18

技能介绍

用途:crawlberg map <url> 用于枚举站点上的 URL,而不是抓取页面内容。适合规划爬取、审计站点结构,或把 URL 列表交给其他工具使用。

主要能力:先读取 sitemap.xml(含嵌套 sitemap),若无 sitemap 或内容过少,则回退到从种子页面 HTML 提取链接。支持 --search 做不区分大小写的子串过滤,--limit 限制返回数量,--format 选择 json(默认,返回结构化 MapResult)或 markdown(每行一个 URL)。

使用方式:基本用法 crawlberg map https://example.com --limit 500 --search docs --format markdown。位置参数接受单个种子 URL;没有 --depth 或 --max-pages,这两个参数用于限制 crawl 而非 map。范围由种子主机的 sitemap 加种子页面链接组成,用 --limit 和 --search 收窄。脚本读取可用 crawlberg map https://example.com --format json | jq -r '.urls[].url'。

其他标志:--respect-robots-txt(默认关闭,第三方站点建议开启)、--timeout(默认 30000 毫秒)、--browser-mode(auto/always/never)、--browser-endpoint、--config。auto 模式下若种子页是隐藏链接的 JS 外壳,仍会回退到无头 Chrome;never 则仅静态。

限制与适用:只做枚举,不返回页面内容;数百个 URL 可在数秒内返回,比抓取便宜。若需要页面内容(Markdown、元数据、表格),应改用 crawlberg crawl。其他未知细节暂未提供。