用途:为智能体提供实时、可绕过封锁的网页抓取能力。ScrapingAnt 在 https://api.scrapingant.com/mcp 提供托管 MCP 服务器,注册后获得三个抓取工具,由无头 Chrome 与轮换代理池支撑,可将被拦截或需 JavaScript 渲染的页面返回为干净 Markdown,全部在云端运行,无需本地浏览器、Python 环境或 MCP 进程。
主要能力:三个 MCP 工具——get_web_page_markdown(默认,返回 LLM 就绪的 Markdown,适合 RAG、摘要、读文档)、get_web_page_html(原始 HTML,用于选择器后处理或 DOM 检查)、get_web_page_text(纯文本,token 占用最低)。参数包括 url(必填)、browser(默认 true,false 表示不渲染 JS 更便宜)、proxy_type(默认 datacenter,被封锁后再用 residential)、proxy_country(ISO-3166 代码)。
使用方式:先注册获取 API key,导出环境变量 export SCRAPINGANT_API_KEY="<your-key>",再注册 MCP 服务器,例如 Claude Code 执行 claude mcp add scrapingant --transport http https://api.scrapingant.com/mcp -H "x-api-key: $SCRAPINGANT_API_KEY";其他客户端使用 streamableHttp 配置块,VS Code/Copilot 例外。可用脚本验证:bash .agent-skills/scrapingant-web-fetch/scripts/scrapingant.sh doctor、credits、probe https://example.com。
适用场景:普通抓取返回 403/429、Cloudflare 拦截或机器人验证页;目标是 SPA(React/Next.js 文档、仪表盘)原始 HTML 为空壳;需要 Markdown 内容用于 RAG 或摘要;内容有地域限制;低量抓取不值得安装 Playwright;运行时支持 MCP 的客户端。
限制:公开静态无保护页面用 curl/WebFetch 更省更快;完整爬取、链接前沿或选择器漂移修复应使用 scrapling;X/Twitter 用 x-twitter-scraper;需要认证会话、表单填写或多步浏览器交互不适用;抓取若违反目标站点服务条款、robots 政策或法律应拒绝。积分成本:无浏览器+数据中心 1,无头浏览器+数据中心 10,无浏览器+住宅 25,无头浏览器+住宅 125;免费层每月 10,000 积分,不跨月结转。切勿硬编码密钥。