SuperAPI AI 工具集
合作ENAI 行业资讯收藏
全部工具AI开发平台webclaw

webclaw

webclaw 是一个面向 LLM 的快速、本地优先的网页内容提取工具，使用 Rust 编写。它可以将网站转换为干净的 Markdown、JSON 和适合 LLM 使用的上下文，支持抓取单页、爬取站点、提取结构化数据、总结、对比页面变化和品牌资产提取等功能。提供 CLI、REST API、MCP 服务器以及 SDK，方便接入 AI 智能体和 RAG 流水线。webclaw 使用 TLS 指纹技术绕过反机器人检测，无需浏览器即可处理受保护页面，同时支持本地无账号使用核心提取路径，也可通过 webclaw.io 托管 API 处理需要 JavaScript 渲染或异步任务的场景。

访问官网

工具介绍

用途

webclaw 用于将网页内容转换为 LLM 可直接使用的干净数据，解决传统抓取工具要么返回被拦截页面、要么返回充满导航和广告的原始 HTML 的问题。它输出 Markdown、JSON 或适合 RAG 的上下文，供 AI 智能体和应用消费。

主要能力

  • 抓取单页，返回 LLM 优化文本，可保留或排除指定选择器。
  • 爬取文档站点、映射站点结构。
  • 提取结构化数据、品牌资产。
  • 总结内容、对比页面随时间的变化。
  • 支持搜索功能。
  • 使用 TLS 指纹技术绕过反机器人检查，无需浏览器。
  • 本地优先：核心提取路径无需账号即可在本地运行。
  • 托管 API 提供受保护站点访问、JavaScript 渲染、异步爬取和研究任务、监控和生产用量追踪，以及应用代码的 SDK。

使用方式

安装

  • 预构建二进制：从 GitHub Releases 下载 macOS、Linux、Windows 二进制，ZIP 包无需 Rust。在 v0.6.22 发布页下载 webclaw-v0.6.22-x86_64-pc-windows-msvc.zip，解压后在包含 webclaw.exe 的文件夹打开 PowerShell 运行（PowerShell 需使用 .\ 前缀）。如需在其他文件夹运行，将该目录加入用户 PATH。若 Windows 提示缺少 Visual C++ 运行时 DLL，安装 Microsoft Visual C++ Redistributable for x64。ZIP 包含 x64 二进制，Windows ARM64 不在原生安装检查范围内。
  • 从源码构建（Windows）：安装 Rust（x86_64-pc-windows-msvc 工具链）、Visual Studio Build Tools（含 Desktop development with C++ 和 Windows SDK）、Git、CMake 3.22 或更新、LLVM（含 libclang.dll）、NASM。安装后打开新的 Developer PowerShell for Visual Studio。确保 CMake 和 NASM 在 PATH 中，若 bindgen 找不到 libclang，设置 LIBCLANG_PATH 指向 LLVM bin 目录。Cargo 包名为 webclaw-cli，可执行文件为 webclaw。这些包从 Git 安装，不是从 crates.io。首次源码构建可能需要几分钟。Windows CI 工作流在托管运行器上检查 Git 安装和已发布 ZIP，不代表干净 PC。Linux 容器（包括 macOS 上的 Docker）不验证 Windows 支持。若源码构建因缺少原生构建工具失败，安装平台先决条件。
  • MCP 服务器零安装：将任何 MCP 客户端指向 npx 启动器。或运行 npx create-webclaw 自动检测 AI 工具并写入配置。
  • 作为智能体技能：一条命令将 webclaw 加入 Claude Code、Cursor、Windsurf 等 MCP 智能体。智能体获得 scrape、crawl、map、extract、summarize、diff、brand、search 作为原生工具。大多数站点本地提取无需 API 密钥。设置 WEBCLAW_API_KEY 可处理受机器人保护和 JavaScript 渲染的页面。可在 skills.sh 找到。

使用场景

  • 终端使用：抓取一页、爬取文档站点。
  • 通过 MCP 接入 Claude/Cursor。
  • 从应用调用托管 API。
  • 自托管 OSS 服务器。
  • 工作流示例：HTML 转 Markdown 用于 RAG、兼容 Firecrawl 的 API、MCP 网页抓取、使用 ColdProxy 的代理爬取、Cloudflare 诊断、提取品牌资产、对比页面变化。

适用场景

  • AI 智能体和 RAG 流水线需要干净网页上下文。
  • 需要绕过反机器人检查的网页抓取。
  • 文档站点爬取和结构化数据提取。

限制

  • 核心提取本地无需账号，但受保护站点访问、JavaScript 渲染、异步任务等需要托管 API。
  • Windows ARM64 不在原生安装检查范围内。
  • 源码构建需要多种原生工具，首次构建耗时较长。
  • 关于收费、价格等具体信息暂未提供。

社区与贡献

webclaw-core 是纯提取逻辑，无网络 I/O，可独立于获取层使用。欢迎贡献实际且小的改进，如添加真实智能体和 RAG 工作流示例、改进 SDK 片段、报告提取效果差的页面、为混乱 HTML 添加失败测试用例、改进 MCP 客户端和本地设置文档、在更多 Linux/macOS 环境测试 CLI。报告页面提取问题时请附上相关信息，发布前请移除日志中的密钥、Cookie、私有令牌和客户数据。

同类工具

查看分类