SuperAPI AI 工具集

crawling-a-site

通用与其它

查看项目

更新于 10-16 07:18

技能介绍

用途:当单个 URL 不够用时,使用 crawlberg crawl 抓取文档站、博客、营销页或整个域名的可达页面,并把每个页面转为 Markdown,适合做站内内容归档与批量采集。

主要能力:可设置从种子 URL 出发的最大跳数(--depth,默认 2)、页面硬上限(--max-pages,默认无界)、并发请求数(--concurrent,默认 10)、同源请求间隔毫秒(--rate-limit,默认 200);通过 --stay-on-domain 跳过站外链接,通过 --respect-robots-txt 遵守第三方站点的 robots.txt;还支持 --proxy、--user-agent、--timeout(默认 30000)、--browser-mode(auto/always/never)与 --browser-endpoint,输出格式可选 json 或 markdown,也可用 --config 传入完整 CrawlConfig。支持在位置参数中传入多个种子 URL,由 batch_crawl 分发并汇总。

常用方式:自有文档站可提高并发、降低限速,例如: crawlberg crawl https://docs.example.com --depth 5 --max-pages 1000 --concurrent 16 --rate-limit 100 --stay-on-domain --format markdown > docs.md 第三方站点应保持浅层、限制页数、提高限速并遵守 robots,例如: crawlberg crawl https://blog.unknown.example --depth 2 --max-pages 50 --concurrent 4 --rate-limit 500 --stay-on-domain --respect-robots-txt --format markdown 多站点批处理会在 JSON 中返回 BatchCrawlResults 对象,含 results、total_count、completed_count、failed_count,逐条读取 .results[] 而非顶层数组。

输出:Markdown 模式以 URL 分隔块拼接;JSON 模式返回含 pages 的 CrawlResult,Markdown 位于 result.pages[i].markdown.content。

限制与注意:默认深度较浅、页数无上限,未知站点务必限制 --max-pages;对第三方主机建议将并发降至 4-8 并提高限速;仅 JS 渲染的页面在 never 模式下可能得到空结果,可用 --browser-mode always;爬取可能离开域名,需配合 --stay-on-domain;页面较多时注意内存,可将 JSON 流式写入文件。若只需 URL 列表而非页面内容,应改用 crawlberg map。资料未提供收费、平台与效果信息。