SuperAPI AI 工具集

cli

数据与分析

查看项目

更新于 10-16 07:29

技能介绍

用途

crawlberg 是一个高性能网页爬虫与抓取工具。本条目为其命令行界面(CLI)的参考文档技能,适用于在调用、编写文档或修改 crawlberg 命令行接口时查阅。

主要能力

crawlberg CLI 提供以下子命令:

  • crawlberg batch-crawl:并发爬取多个网站。
  • crawlberg batch-scrape:并发抓取多个 URL。
  • crawlberg citations:将 Markdown 链接转换为编号引用。
  • crawlberg crawl:沿链接爬取网站。
  • crawlberg download:从 URL 下载文档并报告其元数据。
  • crawlberg interact:在单个页面上执行浏览器操作。
  • crawlberg map:通过站点地图和链接提取发现网站上的所有 URL。
  • crawlberg mcp:启动 MCP 服务器(默认使用 stdio 传输)。
  • crawlberg scrape:抓取单个 URL 并提取元数据。
  • crawlberg serve:启动 REST API 服务器。
  • crawlberg version:以 JSON 格式打印 crawlberg 版本。

使用方式

通过命令行调用上述子命令。具体参数、选项与安装方式暂未提供。

适用场景

适用于需要爬取网站、批量抓取 URL、提取网页元数据、发现站点 URL、下载文档、执行页面浏览器操作,以及以 MCP 或 REST API 方式集成 crawlberg 的场景。

限制

关于收费、价格、平台支持、性能指标及详细使用步骤,资料中暂未提供。