ScrapeGraphAI 是一个基于 AI 的 Python 爬虫库，通过 LLM 和直接图逻辑为网站及本地文档创建抓取管道。用户只需用自然语言说明想提取的信息，库即可自动完成抓取。
主要能力
- 支持从网站或本地文件（XML、HTML、JSON、Markdown 等）提取信息。
- 提供多种标准抓取管道，最常用的是 SmartScraperGraph，可根据用户提示和源 URL 从单个页面提取信息。
- 支持多页面信息提取、生成 Python 脚本，甚至生成音频文件。
- 每个图都有对应的多版本，支持并行调用 LLM。
- 可灵活切换不同 LLM，包括通过 API 使用 OpenAI、Groq、Azure、Gemini、MiniMax 等，或通过 Ollama 使用本地模型。
使用方式
- 安装：可通过 PyPI 安装，建议在虚拟环境中安装以避免库冲突。官方未在资料中给出具体安装命令。
- 使用本地模型需先安装 Ollama 并用 ollama pull 命令下载模型。
- 基本用法：指定用户提示和源 URL，调用相应管道即可，输出为字典格式。
- 支持集成主流框架和平台：LLM 框架如 Langchain、Llama Index、Crew.ai、Agno、CamelAI；低代码框架如 Pipedream、Bubble、Zapier、n8n、Dify、Toolhouse；还提供 MCP server。
适用场景
- 数据探索和研究用途。
- 需要从网页或本地文档中按自然语言指令提取结构化信息。
- 希望使用本地 LLM 实现自托管、控制成本或满足数据驻留要求的场景。
限制
- 官方声明仅限数据探索和研究用途，不对误用负责。
- 开源库需自行管理浏览器、代理和扩展。
- 具体收费、价格、性能效果等未在资料中提供。
开源与托管 API ScrapeGraphAI 提供两种形式：可自行运行的开源库，以及通过 Python 和 JS/TS SDK 使用的托管云 API。开源库适合需要完全控制、本地/自托管数据、本地 LLM 或精细成本调整且能自行管理基础设施的用户；托管 API 适合希望零基础设施、托管 JS 渲染与反爬、内置爬取和定时监控任务，并快速上线的用户，按积分计费。
其他信息
- 项目采用 MIT 许可证。
- 提供 Python SDK（https://github.com/ScrapeGraphAI/scrapegraph-py）和 JS/TS SDK（https://github.com/ScrapeGraphAI/scrapegraph-js）。
- API 文档：https://docs.scrapegraphai.com/introduction
- 收集匿名使用指标，可通过设置环境变量 SCRAPEGRAPHAI_TELEMETRY_ENABLED=false 退出。
- 提供代理优惠码：SCRAPEGRAPH35（移动和住宅代理 35% 折扣）、SCRAPEGRAPH40（ISP/静态代理 40% 折扣）。
