用途：本技能是 ScraperAPI 的入门入口，供智能体或开发者首次接入时阅读，选定路径后再交给更细分的技能。ScraperAPI 提供网页数据抓取能力，可将任意 URL 返回为干净的 HTML 或 markdown，自动处理代理轮换、验证码绕过与 JS 渲染，还能从 Amazon、Walmart、eBay、Redfin、Google SERP 等 20 多个平台返回结构化 JSON，并提供多页爬取能力。
准备工作：所有路径都需要 API 密钥。可在 https://www.scraperapi.com/ 注册（免费试用含 5000 额度），并从 https://dashboard.scraperapi.com/ 复制密钥。密钥应通过环境变量设置，不要硬编码：macOS/Linux 使用 export SCRAPERAPI_API_KEY=<your-key>，Windows PowerShell 使用 $env:SCRAPERAPI_API_KEY = "<your-key>"，也可写入 .env 文件。正式工作前先用 curl "https://api.scraperapi.com/?api_key=$SCRAPERAPI_API_KEY&url=https://httpbin.org/ip" 验证；返回含 origin IP 的 JSON 表示密钥有效，401 表示密钥错误或未激活，不要用同一密钥重试，直接上报错误。
路径选择：LLM 智能体需要网页数据时用 MCP 服务器（Path A）；把 ScraperAPI 加入应用代码用 SDK/REST（Path B）；只需快速请求或环境无 Node/Python 用 REST API（Path C）；缺密钥先按上述方式获取（Path D）。若跨路径，按密钥→MCP 或 SDK→先测一个真实请求的顺序进行。
Path A（MCP）：远程服务器无需安装，提供最多 22 个工具（scrape、Google、Amazon、Walmart、eBay、Redfin 与爬虫）。在 claude_desktop_config.json、Claude Code 项目设置或 MCP 客户端配置中添加 "ScraperAPI" 服务器，命令为 npx，参数为 mcp-remote https://mcp.scraperapi.com/mcp 并带 Authorization: Bearer ${SCRAPERAPI_API_KEY} 头，需设置 SCRAPERAPI_API_KEY。本地服务器仅提供 scrape 工具，需 Python 3.11+，安装命令为 pip install scraperapi-mcp-server，配置 command 为 python、args 为 ["-m", "scraperapi_mcp_server"]，env 中设置 API_KEY。本地版如需 Google 结构化数据，可对 Google 搜索 URL 使用 scrape 并设 autoparse: true、outputFormat: "json"。完成后交由 scraperapi-mcp 技能负责工具选择、参数优化、额度成本指导与错误恢复。
Path B（SDK/REST）：先做冒烟测试，用 Python requests 请求 https://api.scraperapi.com/，params 含 api_key 与 url，200 且返回有效 JSON 表示接通。按任务选择 API：抓取任意 URL 用 Standard API；渲染 JS 页面加 render=true；Amazon、Google、Walmart、eBay、Redfin 结构化数据用 Structured Data API；批量 100+ URL 用 Async Jobs API；定时抓取用 DataPipeline。Python 安装 pip install scraperapi-sdk，Node.js 安装 npm install scraperapi-sdk，另有 PHP、Ruby、Java SDK。
Path C（REST）：基础 URL 为 https://api.scraperapi.com/，认证用 api_key 查询参数（异步用 JSON 体中的 apiKey）。可执行基本抓取、加 render=true 的 JS 渲染、结构化数据端点（如 /structured/google/search、/structured/amazon/product），异步任务提交到 https://async.scraperapi.com/jobs 并轮询状态。
常见状态码：200 成功；401 密钥无效，上报不重试；403 被目标站拦截，可用 premium=true、ultra_premium=true 或换 country_code 重试；429 触发并发限制，应退避或改用异步；500/503 为暂时性失败，用指数退避重试 3–5 次。
后续路由：抓取 URL 用 scraperapi-mcp 的 scrape；Google 搜索用 google_search；电商平台数据用 SDE 工具；Redfin 房产用 Redfin 工具；整站爬取用 crawler_job_start；100+ URL 用 Async Jobs API；定时抓取用 DataPipeline；调试失败或拦截参考 scraperapi-mcp 错误恢复。支持平台优先用结构化端点，比原始 HTML 抓取更干净、更可靠且往往更省额度。