用途
AgentScrape 是为 AI 智能体设计的按次付费网页抓取基础设施。它针对传统抓取 API 需要人工注册、绑定支付方式、管理 API 密钥、承诺月度订阅的问题,改为面向拥有钱包与稳定币的智能体:无需注册、无需 API 密钥、无订阅,仅使用 USDC 按次付费。
主要能力
服务同时支持两种协议:
- HTTP API,带 x402 v2 支付网关,适用于使用原生 HTTP 的智能体。
- MCP 服务器(Streamable HTTP 传输),适用于 Claude Desktop、Cursor、Continue.dev 及任何兼容 MCP 的框架。
共提供 6 个工具:scrape、extract(Groq + Llama 4)、screenshot、metadata、workflow、session。x402 支付元数据会随 MCP 的 tools/list 响应一起广播,配置了兼容 x402 钱包的客户端可自动完成支付握手。
使用方式
- HTTP API 快速开始:通过 HTTP 调用接口,支付流程为服务器返回 402 及支付要求,智能体签署 USDC 转账,facilitator 在链上结算,数据返回,端到端耗时据称低于 2 秒。
- MCP 快速开始:将 Streamable HTTP 端点添加到任意兼容 MCP 的客户端。
- 面向机器发现:暴露四个标准端点(免费、无需认证),包括 x402 manifest、A2A Agent Card 等。402 响应自身在 base64 编码的 Payment-Required 头中携带规范支付要求,正文含人类可读错误与发现链接。
- ElizaOS 集成:ElizaOS 通过 @elizaos/plugin-mcp 插件原生支持远程 MCP 服务器,AgentScrape 开箱即用,无需自定义集成。安装 MCP 插件并在角色 JSON 中添加插件、将 MCP 服务器配置指向 AgentScrape 的 Streamable HTTP 端点即可,智能体会自动发现全部六个工具。
技术栈
- 运行时:Cloudflare Workers(V8 isolates,全球边缘)
- HTTP 框架:Hono + @x402/hono v2 支付中间件
- MCP 框架:@modelcontextprotocol/sdk + agents/mcp,配合 withX402 支付绑定
- Bazaar 发现:@x402/extensions,每个付费路由声明输入 schema 与输出示例
- 浏览器:Cloudflare Browser Rendering API + @cloudflare/puppeteer
- AI 提取:Groq + Llama 4 Scout(17B, 16E)
- 存储:Cloudflare KV(5 分钟响应缓存、浏览器会话、免费层计数器)
- 网络:Base 主网(eip155:8453)
- 资产:原生 USDC(0x833589fCD6eDb6E08f4c7C32D4f71b54bdA02913)
- Facilitator:Coinbase CDP(api.cdp.coinbase.com/platform/v2/x402),使用 Ed25519 JWT 认证
收费与免费额度
- 每个钱包地址在 HTTP API 上每 30 天有 10 次免费调用,需在 X-402-Payer 头中传入 Base 钱包地址;超过 10 次后需通过 x402 支付。免费层仅限 HTTP,MCP 调用走标准 x402 支付流程。
- 主网启动窗口(最初 48 小时):每次工具调用统一 0.001 USDC。
- 验证后价格将上调(原文给出调整后各工具价格表,具体数值以官方为准)。
- 计划中的批量折扣:每月 1,000 次调用 20% 折扣,10,000 次 40% 折扣。
适用场景
适合需要自动抓取网页、做结构化数据提取、截图、获取元数据、执行工作流或维持浏览器会话的 AI 智能体与 MCP 客户端(Claude Desktop、Cursor、Continue.dev、ElizaOS 等)。
限制与自托管
自托管需要 Node 22+、启用 Workers 与 Browser Rendering 的 Cloudflare 账户、Groq API 密钥、Coinbase CDP API 密钥。要将自己的钱包作为 payTo,需编辑 src/index.ts 中的 PAY_TO 常量。
路线图
- AgentParse:文档/PDF/OCR 转 markdown 服务(同样采用 x402 + MCP 模式)
- AgentSearch:多后端网页搜索聚合
- LangChain 集成包(langchain-agent-scrape)
- 订阅套餐(1000 次抓取 2.50 美元)
- 多资产支持(Base 上的 USDT、Arbitrum 上的 USDC)
- 面向长时运行工作流的 Webhook + 异步响应选项
许可与主体
MIT 许可,见 LICENSE。由 HSH Intelligence 构建,Healing Sun Haven LLC(美国怀俄明州)运营。
相关链接
- 服务:https://agent-scrape.healingsunhaven.workers.dev
- 仓库:https://github.com/hshintelligence/agent-scrape