Agent Scraper MCP Server 是一个面向 AI 智能体的网页抓取服务，通过 MCP（Model Context Protocol）与 REST API 提供网页内容获取与结构化提取能力。其定位是“AI 智能体最常被请求的实用工具之一”，主打专业的网页抓取、截图与内容提取。
主要能力 工具集共包含六项功能：
- 清洗内容提取（scrape_url）：从任意网页提取类似 Readability 的可读文本，输出格式支持 text、markdown 或 html，默认 markdown。返回内容包括成功状态、URL、标题与正文。
- 结构化抓取（scrape_structured）：使用 CSS 选择器按“名称 → 选择器”的字典提取指定数据，返回包含 data 的结构化结果。
- 截图（screenshot_url）：使用 Playwright 捕获网页截图，可设置视口宽度（默认 1280）、高度（默认 720）以及是否整页截取（默认 false），返回 base64 编码的 PNG 图像。
- 链接提取（extract_links）：获取页面所有链接，可选正则表达式过滤 URL，返回包含文本与 href 的链接数组及数量。
- 元数据提取（extract_meta）：提取页面标题、meta 描述、canonical URL、favicon、Open Graph 标签与 Twitter Card 标签。
- Google 搜索（search_google）：以编程方式检索 Google 结果，可指定返回条数（默认 10），返回结果为包含标题、URL 与摘要片段的数组。
使用方式 可将服务加入 MCP 配置文件（例如 cline_mcp_settings.json 或类似文件），基础 URL 为 https://agent-scraper-mcp.onrender.com。所有工具均已包含在服务中。也可直接调用 REST API，文档地址为 https://agent-scraper-mcp.onrender.com/docs。
收费与配额 免费额度为每个 IP 每天 50 次请求，无需信用卡。超出免费额度后按次收费：抓取类工具（scrape_url、scrape_structured、extract_links、extract_meta、search_google）为 0.005 美元/次；截图工具因计算成本较高，为 0.01 美元/次。支付采用 x402 协议（HTTP 402），使用 Base 链上的 USDC，收款钱包地址为 0x8E844a7De89d7CfBFe9B4453E65935A22F146aBB。超额时服务器返回 HTTP 402 及机器可读的支付要求（x402 v1），支持 x402 的客户端可自动支付并重试。手动支付需附加 X-Payment 头，内容为 base64 编码的 JSON 信封，内含使用付款方 EIP-712 密钥签名的 EIP-3009 TransferWithAuthorization（Base 上的 USDC），金额精确、收款地址为上述钱包、nonce 未使用；服务端会在请求处理前进行签名恢复及金额、收款方、截止时间、重放等校验。该机制同时适用于 REST API 与 MCP 的 tools/call。
服务器运营者收款 若设置 X402_SETTLER_PRIVATE_KEY，每一笔通过验证的支付会在数秒内于链上执行：将 EIP-3009 transferWithAuthorization 提交至 Base 上的 USDC 合约，USDC 从付款方转入 X402_WALLET_ADDRESS。结算密钥无需是收款钱包的密钥，任意地址均可执行该授权，因此可用专用仅支付 gas 的临时密钥提交交易，资金仍进入主钱包；该密钥只需在 Base 上持有少量 ETH 用于 gas。其他环境变量包括 X402_RPC_URL（默认 https://mainnet.base.org）与 X402_SETTLE_MIN_MICROUSD（默认 0，即每笔立即结算；提高该值可批量结算小额支付）。结算失败会按退避策略重试，若全部重试失败，完整授权信息会以 CRITICAL 级别写入日志以便人工赎回，不会静默丢失支付。
技术栈与部署 项目使用 Python 3.11 与现代 async/await，采用 FastAPI 作为 REST 框架、FastMCP 实现 MCP 协议（Streamable HTTP）、Playwright 进行浏览器自动化截图、httpx 作为异步 HTTP 客户端、BeautifulSoup4 解析 HTML、readability-lxml 进行内容提取（类似 Firefox 阅读视图）。许可为 MIT。部署于 Render 免费层，服务名 agent-scraper-mcp，运行时为 Docker，支持从 GitHub 仓库 aparajithn/agent-scraper-mcp 自动部署；环境变量包含 PUBLIC_HOST 与 X402_WALLET_ADDRESS。
适用场景与限制 该服务适用于需要网页正文清洗、按选择器抽取结构化数据、网页截图、链接与元数据采集、以及程序化 Google 搜索的 AI 智能体工作流。限制方面：免费层为每 IP 每日 50 次请求，超额需按上述费率以 USDC 支付；截图工具费用高于其他工具；资料未提供速率上限之外的具体并发或超时限制、支持的数据格式范围、是否支持登录态或反爬绕过等信息，暂未提供。
