SuperAPI AI 工具集

crw

crw(fastCRW)是一个用 Rust 编写的开源网页爬取与搜索 API,可作为 Firecrawl/Tavily 的轻量替代方案。它提供抓取、爬取、站点映射与搜索能力,支持将 URL 转成干净的 Markdown 或结构化 JSON,并兼容 Firecrawl 的 /scrape、/crawl、/search 接口。内置面向 AI 智能体的 MCP 服务器,可自动接入 Claude Code、Cursor、Codex、Gemini CLI、OpenCode、Windsurf 等工具。官方数据显示其在 1K URL 基准测试中比 Tavily 快 2.3 倍、比 Firecrawl 快 1.5 倍,空闲内存约 6-14 MB,单个二进制文件即可运行。支持自托管或托管云服务,附 1000 免费额度(无需信用卡),并有 Python 与 TypeScript SDK。

访问官网

工具介绍

crw(项目名 fastCRW)是一个用 Rust 编写的快速、轻量的网页爬取与搜索 API,定位为 Firecrawl / Tavily 的替代方案。它把搜索、抓取(scrape)、站点映射(map)、爬取(crawl)和提取(extract)整合到一个引擎中,可将 URL 转换为干净的 Markdown 或结构化 JSON。

主要能力:

  • 提供兼容 Firecrawl 的接口,包括 /scrape、/crawl、/search,可作为 Firecrawl 的迁移替代。
  • 内置面向 AI 智能体的 MCP 服务器,并附带 CRW skill,可在检测到的 AI 工具中自动安装。
  • 官方公布的性能数据:在 Firecrawl 公开的 1,000 URL 数据集上,fastCRW 的召回高于 Crawl4AI 和 Firecrawl,中位延迟与最快者持平,空闲内存约 14 MB;在另一项 1K URL 基准测试中,据称比 Tavily 快 2.3 倍、比 Firecrawl 快 1.5 倍。在 AA-Omniscience 的 600 道题中回答准确率为 90.0%。
  • 体积小,单二进制文件,官方描述约 6 MB RAM。

使用方式:

  • 一条命令即可安装,本地免费运行、无需账号;若要使用云服务,可在同一条命令中粘贴 API key,它会安装二进制、连接 key,并把 MCP 服务器注册到已配置好的 AI 编程工具中(Claude Code、Cursor、Codex、Gemini CLI、OpenCode、Windsurf 会被自动识别)。key 保存在 ~/.config/crw/config.toml,不会复制进各个工具。可用 CRW_NO_AGENTS=1 跳过该步骤,或单独运行 crw setup 以交互方式选择。
  • 支持 macOS 和 Linux,兼容 Intel 与 ARM。
  • 使用云服务需先获取 API key,并导出: export CRW_API_KEY=your_key_here
  • 提供 REST API、Python 与 TypeScript SDK 示例;自托管需要 Rust 1.85 或更高版本的工作空间。
  • 云服务提供托管代理、JS 渲染和搜索,无需自行维护;官方称有 1000 免费额度,无需信用卡,可用 GitHub 登录获取。

适用场景: 需要为 AI 智能体提供网页抓取、爬取和搜索能力的开发者;希望自托管或使用托管云服务、并需要 Firecrawl 兼容 API 的项目;在 AI 编程工具中通过 MCP 使用爬取与搜索能力的个人和团队。

限制与注意事项:

  • 不同部署方式(本地、自托管、云)的能力与响应结构可能不同,可参考 /v1/capabilities 与响应结构说明。
  • crawl 和 map 默认遵循 robots.txt,官方提醒请尊重网站政策。
  • 自托管需要 Rust 1.85 或更高版本。
  • 引擎与 MCP 服务器使用 AGPL-3.0 许可;Python 和 TypeScript SDK 使用 MIT 许可。
  • 关于价格、具体云服务计费、平台支持细节等,资料中部分仅给出免费额度与安装方式,其余收费信息暂未提供。