SuperAPI AI 工具集

crawling-a-site

通用与其它

查看项目

更新于 10-16 06:44

技能介绍

用途:当单个 URL 不够用时,用 crawlberg crawl 抓取文档站、博客、营销页或整个域名,把每个可达页面采集为 Markdown 或 JSON。

基本用法:crawlberg crawl https://example.com --depth 3 --max-pages 200 --concurrent 8 --rate-limit 250 --stay-on-domain --respect-robots-txt --format markdown。支持位置参数传入多个种子 URL,引擎用 batch_crawl 展开并聚合结果。

主要参数:--depth/-d(默认 2,从种子起的最大跳数)、--max-pages/-n(页面硬上限,默认无限制)、--concurrent/-c(默认 10,并行请求数)、--rate-limit(默认 200,同源请求间隔毫秒)、--stay-on-domain(跳过域外链接,默认关)、--respect-robots-txt(遵循 robots.txt,默认关)、--proxy、--user-agent、--timeout(默认 30000 毫秒)、--browser-mode(auto/always/never)、--browser-endpoint(外部 CDP ws:// 地址)、--format(json 或 markdown,默认 json)、--config(内联 JSON 或 @file.json 指定完整 CrawlConfig)。

输出:Markdown 模式按页输出,每页以 --- URL: ... --- 分隔;JSON 模式返回顶层 CrawlResult,含 pages 数组,每页带渲染后的 Markdown、元数据、链接、图片、JSON-LD 和 HTTP 响应信息,Markdown 字符串在 result.pages[i].markdown.content。多种子批量的 JSON 输出是 { seed_url, result } 数组,result 为完整爬取负载或 { error: ... }。

建议:自建站点可用高并发低限速;第三方站点应浅深度、限制页数、加大延迟、传 --respect-robots-txt,并通过 --user-agent 表明身份。

限制与常见问题:默认深度较浅、页数无上限,未知站点务必设 --max-pages;纯 JS 站点在 never 模式会静默返回空爬取,可用 always 或检查 headless 回退;未加 --stay-on-domain 会离开域名,可在 --config 中用 allow_subdomains: true 纳入子域;同源多种子共享限速桶;每页含完整 Markdown 与结构化数据,内存增长明显,建议把 JSON 流式写入文件并积极设置 --max-pages。若只需 URL 列表,改用 crawlberg map <url>。