用途
crawlberg 是一个高性能网页爬虫与抓取工具。本条目为其命令行界面(CLI)的参考文档技能,适用于在调用、编写文档或修改 crawlberg 命令行接口时查阅。
主要能力
crawlberg CLI 提供以下子命令:
crawlberg batch-crawl:并发爬取多个网站。crawlberg batch-scrape:并发抓取多个 URL。crawlberg citations:将 Markdown 链接转换为编号引用。crawlberg crawl:沿链接爬取网站。crawlberg download:从 URL 下载文档并报告其元数据。crawlberg interact:在单个页面上执行浏览器操作。crawlberg map:通过站点地图和链接提取发现网站上的所有 URL。crawlberg mcp:启动 MCP 服务器(默认使用 stdio 传输)。crawlberg scrape:抓取单个 URL 并提取元数据。crawlberg serve:启动 REST API 服务器。crawlberg version:以 JSON 格式打印 crawlberg 版本。
使用方式
通过命令行调用上述子命令。具体参数、选项与安装方式暂未提供。
适用场景
适用于需要爬取网站、批量抓取 URL、提取网页元数据、发现站点 URL、下载文档、执行页面浏览器操作,以及以 MCP 或 REST API 方式集成 crawlberg 的场景。
限制
关于收费、价格、平台支持、性能指标及详细使用步骤,资料中暂未提供。