ScraperAPI MCP 服务器（scraperapi-mcp）是一个基于 Model Context Protocol（MCP）规范实现的本地服务器，用于让大语言模型客户端能够通过 ScraperAPI 服务发起和处理网页抓取请求。项目说明其为一个自托管（本地）服务器，同时也提供托管（远程）版本。
用途 该服务器面向需要让 LLM 具备网页抓取能力的场景，作为 LLM 客户端与 ScraperAPI 之间的桥梁。LLM 客户端在配置后会自动启动该本地服务器，从而调用 ScraperAPI 完成抓取任务。
主要能力
- 完整实现 Model Context Protocol 规范。
- 与 ScraperAPI 无缝集成，实现网页抓取。
- 抓取工具：可检索网页内容或从 URL 下载图片，返回抓取内容字符串，或在图片 URL 时返回图像数据。
- 结构化数据端点（SDEs）：返回预解析的 JSON（或 CSV）而非原始 HTML；每个 SDE 工具还接受 output_format（默认 json，或 csv）、tld 和 country_code 参数。
- Redfin 工具：每个 Redfin 工具需要与工具类型匹配的完整 Redfin URL（房产、搜索或经纪人页面）。
- 异步爬虫：crawler_job_start 立即返回 job id，之后轮询 crawler_job_status 直到爬取完成；每页结果也可通过 callback_url webhook 推送。需提供 max_depth 或 crawl_budget 之一。
- crawler_job_start 返回包含 job id 和初始状态的 JSON（例如 {"status": "initiated", "jobId": "..."}）。
- crawler_job_status 返回包含该任务页面计数（done/failed/active）的 JSON。
- AI 解析器：从若干示例 URL 构建可复用解析器，再应用到任何相似页面进行结构化提取。分两阶段：ai_parser_create 立即返回 parser id，生成在后台运行，需轮询 ai_parser_get_details 直到状态为 FINISHED，然后调用 ai_parser_parse_url。
- ai_parser_create 返回带新解析器 id 和 version 的 JSON；生成是异步的，需轮询 ai_parser_get_details 直到 status 为 FINISHED。
- ai_parser_get_details 返回解析器状态（GENERATING / FINISHED / FAILED）、字段和示例结果的 JSON。
- ai_parser_parse_url 返回 JSON {"parser": ..., "version": ..., "result": {...}}，每次调用消耗 1 credit。
- 无参数的工具返回解析器摘要（id、name、status、version、generation time）的 JSON 数组。
- 提示模板：文档给出了示例提示，例如抓取某 URL 若遇 500 错误则识别网站地理定位并添加相应 country_code 以绕过地理限制；若错误持续则添加 premium=true 使用高级代理；若仍持续失败则激活 ultra_premium=true 使用增强反封锁措施。另有模板用于提取指定数据，若返回缺失或不完整则设置 render=true 启用 JS 渲染。
使用方式 服务器通过环境变量配置，仅 API_KEY 为必填。文档给出了在 Claude Desktop、Claude Code、Cursor、Cline（VS Code）等常见客户端中的配置步骤，通常需要将 JSON 配置粘贴到相应配置文件中，或使用命令 claude mcp add scraperapi -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> -- python -m scraperapi_mcp_server 添加。 安装与运行方式包括 Python 和 Docker：
- 克隆仓库：git clone https://github.com/scraperapi/scraperapi-mcp，然后 cd scraperapi-mcp。
- 使用 Poetry：poetry install。
- 使用 pip：创建并激活虚拟环境后以可编辑模式安装本地包 pip install -e .。
- 使用 Docker：docker build -t scraperapi-mcp-server . 构建镜像。
- 使用 Python 运行：python -m scraperapi_mcp_server。
- 使用 Docker 运行：docker run -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> scraperapi-mcp-server。 项目使用 pytest 进行测试，安装开发依赖可用 Poetry 的 poetry install --with dev，或 pip install pytest pytest-mock pytest-asyncio。
适用场景 适用于需要在 LLM 工作流中集成网页抓取、结构化数据提取、异步网站爬取或复用解析器的开发者与团队，尤其适合希望通过 MCP 客户端（如 Claude Desktop、Cursor、Cline 等）直接触发抓取的场景。
限制 文档未提供关于收费、价格、具体抓取配额、支持平台范围或抓取成功率的进一步说明，这些信息暂未提供。使用需自备 ScraperAPI API 密钥。
