用途:Crawlberg 是一个 Rust 原生的网页爬虫与抓取器。它用 reqwest 抓取静态 HTML,当页面需要 JS 或触发 WAF 时回退到无头 Chrome,并通过内置 HTML→Markdown 引擎把结果转换为干净的 Markdown。适合单页抓取、多页爬取、URL 枚举和浏览器交互。
主要能力:scrape 抓取单页并输出 Markdown 与结构化元数据;crawl 按 BFS 跟随链接,受深度、页数和并发限制;map 从 sitemap 和链接提取枚举 URL;interact 支持点击、输入、滚动等浏览器动作;batch-scrape 与 batch-crawl 并发处理多个 URL;download 下载文档并报告文件元数据;citations 把 markdown 链接转为编号引用。
使用方式:先安装二进制,如 brew install xberg-io/tap/crawlberg,或 cargo install crawlberg-cli --features all。常用命令包括 crawlberg scrape <url>、crawlberg crawl <url...>、crawlberg map <url>、crawlberg interact <url>、crawlberg mcp。共享标志有 --format、--timeout、--browser-mode、--browser-endpoint、--respect-robots-txt 和 --config。MCP 服务器为 stdio 传输、不接受参数,注册九种工具,包括 scrape、crawl、map、batch_scrape、batch_crawl、download、interact、generate_citations 和 get_version。
适用场景:需要把网页转换为 Markdown 供人或 LLM 使用;需要按域名和深度爬取站点;需要在不渲染页面的情况下从 sitemap 收集 URL;需要通过 MCP 让其他智能体调用爬取能力。
限制:serve 和 mcp 子命令依赖非默认 cargo 特性,从源码构建时需加 --features mcp 或 --features all。无头回退需要本地可访问 Chrome/Chromium;若只用 --browser-mode never 可跳过安装。--respect-robots-txt 默认关闭,对非自有主机应主动开启;应通过 --user-agent 如实标识爬虫。Markdown 输出不含元数据,如需两者并用 JSON 格式读取 result.markdown.content。