WaterCrawl 是一个面向开发者的现代网页爬取框架，主打将任意网站内容转换为结构化数据，并生成适合 LLM 使用的数据。官方描述其为“AI-friendly web crawling and content extraction platform”，核心目标是为 AI 应用提供干净、可用的网页数据。
一、主要用途 WaterCrawl 用于把网页内容提取并结构化为有价值的数据。它强调从内容提取到 AI 驱动的结构化处理，无需编写代码即可完成。用户可即时爬取任意网站，并借助站点地图与搜索功能增强爬取范围。
二、主要能力
- 内容提取与结构化：支持精细的内容提取，并可利用内置 OpenAI 集成将原始 HTML 自动转换为结构化、有意义的数据。
- 网络搜索：具备高级查询能力的网络搜索，可从整个网络获取实时结果。
- 站点地图生成：自动提取并映射任意网站的所有 URL，生成完整站点地图，用于发现隐藏内容及分析网站结构。
- 动态内容渲染：支持可配置的等待时间与 JavaScript 渲染，以捕获动态内容，并可生成 PDF 或 JPG 格式的截图。
- 爬取范围控制：提供深度、域名和路径等高级控制选项，便于进行定向内容提取。
- 自定义选择器：通过可定制选择器精确提取所需内容，过滤广告、页脚及其他不需要的元素。
- 插件扩展：支持创建和集成自定义插件以扩展功能，按需处理和转换数据。
- 实时监控：提供实时状态更新与性能指标，跟踪进度、错误和完成率。
三、使用方式 官方提供交互式 playground，用于测试选择器和提取器，并实时查看提取数据。用户可以跟踪爬取进度、监控爬取用量与账单。WaterCrawl 提供 SDK，便于与现有系统、应用及常用工具和框架集成，支持 JSON 和 Markdown 格式导出数据，并可与团队共享发现、协作项目。
四、适用场景 适用于需要将网页内容转化为 LLM 可用数据的开发者、小型项目测试、小型企业及成长型团队。典型场景包括定向内容提取、全网搜索获取实时结果、站点结构分析、动态页面内容抓取，以及需要 AI 智能处理网页数据的集成项目。
五、方案与限制 官方提供免费方案：每月 1,000 page credits，每日 100 page credits，1 个席位，最大深度 2，单次爬取最大 50 页，最大并发爬取 1，社区支持，团队代理，数据中心代理（超过 10 个位置），数据保留 7 天。付费方案分两档：€57.60/年方案含每年 120,000 page credits、每日 1,000 page credits、3 个席位、最大深度 4、单次最多 1,000 页、最大并发 10、高级代理（住宅代理，超过 40 个位置）、数据保留 30 天；€117.60/年方案含每年 360,000 page credits、每日不限 credits、10 个席位、最大深度 8、单次最多 2,000 页、最大并发 30、数据保留 90 天。企业方案提供不限团队成员、不限 page credits、自定义爬取规则、优先支持、自定义集成和专属客户经理。
六、暂未提供的信息 官方资料未提供具体的技术架构细节、支持的语言列表、SDK 的具体安装命令或代码示例、API 文档链接、开源许可证信息，以及企业方案的具体定价。
