ScrapeGraphAI 是一款面向 AI 时代的网页抓取 API,官方将其定位为“无需代理、无需选择器、无需维护”的抓取工具。其核心目标是把任意网页转换为结构化数据,只需一次 API 调用即可完成。
用途方面,ScrapeGraphAI 主要服务于需要从网页获取数据的自动化流程,包括数据抽取、内容转换、搜索抓取、整站爬取与页面监控等。官方强调它可用于文档处理、内容迁移,以及为 LLM 准备上下文数据。
主要能力包括:
- 将任意网页转换为干净、格式良好的 Markdown,适用于文档、内容迁移或为 LLM 准备上下文。
- 使用自然语言提示从任意网页抽取结构化数据:定义 schema 后可返回干净的 JSON,例如产品详情、联系信息或任意内容。
- 搜索网络并在一次调用中从搜索结果中抽取结构化数据,用于市场调研、竞品分析和趋势追踪。
- 爬取网站上的所有页面,并为每个链接获取结构化数据,适用于全站抽取、内容审计和数据管道。
- 监控网页变化,并通过 webhook 发送通知,可用于价格追踪、内容更新和竞品情报。
- 通过 Model Context Protocol(MCP)将 AI 助手直接连接到网络,使 Claude、Cursor 等 AI 工具可以实时抓取数据。
- 为 agent 提供极快的网页访问能力,适合 RAG 管道、自主研究和实时数据增强。
官方给出的典型工作流包括:价格监控机器人(追踪 Amazon、eBay 等电商站点价格,在降价或库存变化时告警)、线索生成工具(大规模抽取 LinkedIn 个人资料、Twitter 账号和联系信息而不被封锁)、市场研究仪表盘(聚合多个站点的评论、评分和情绪,构建竞品分析)、房地产追踪(监控 Zillow、Redfin 及本地站点的房源,追踪价格变化和新上架信息)。
使用方式上,ScrapeGraphAI 提供 API 调用、CLI 命令行工具(安装 just-scrape 后可在终端运行 AI 驱动的抓取、抽取、搜索和爬取)、以及 MCP 服务器(可使用托管端点或本地安装,连接 Claude、Cursor 等任意 MCP 客户端)。官方博客提到 ScrapeGraphAI V2 将 scrape、extract、search、crawl、monitor、events 和 history 整合进更简洁的 API,面向生产级网页数据工作流。还提供可选的 fetch 设置(改变抓取策略,render 模式不改变 credit 成本)和 Credit Modifier(在所选 render 模式之上增加反爬绕过能力),以及独立的费用估算计算器。
适用场景包括:价格监控、线索生成、市场调研、房地产追踪、RAG 管道、自主研究、实时数据增强,以及为 AI agent 提供网页数据能力等。官方表示其 AI 能适应任意网站结构。
限制与计费方面,官方提供免费入门计划(一次性 500 API credits,10 请求/分钟,1 个并发爬取)以及多档订阅计划,分别提供 10,000、100,000、750,000 API credits 每月和不同请求速率、并发爬取数;更高档位包含基础或高级代理轮换、优先支持,大型组织可定制速率限制与专属支持。另外提供一次性 credit 充值包,按每 1k credits 5.00、4.00、3.00 美元分档,credit 包永不过期并可叠加在月度订阅之上。官方称所有请求符合 SOC 2 Type II 合规。计费按实际处理的页面数结算,maxPages 会限制 PDF 预留额度。关于是否支持 JavaScript 渲染页面和 SPA、API 速度、是否免费等,官方在 FAQ 中列出问题,但资料未给出具体回答,暂未提供。