SuperAPI AI 工具集

scrapeless-mcp-server

Scrapeless MCP Server 是 Scrapeless 官方的 Model Context Protocol(MCP)服务器,用于把 LLM、AI 智能体和 AI 应用与实时网页交互能力连接起来。它基于开放的 MCP 标准,可将 ChatGPT、Claude 等模型以及 Cursor、Windsurf 等工具接入外部能力,包括 Google 搜索与趋势集成、浏览器自动化导航与交互、抓取动态 JS 页面(可导出为 HTML、Markdown 或截图)、按链接爬取整站并多格式捕获每页,以及为 ChatGPT、Gemini、Perplexity、Copilot、Google AI Mode、Google AI Overview、Grok、Alexa 创建 AI Scraper 任务。使用前需登录 Scrapeless Dashboard 创建 API Key,并在 MCP 客户端中配置,支持 Stdio(本地执行)和 Streamable HTTP(托管 API 模式)两种传输方式,还可通过环境变量或 HTTP 头自定义浏览器会话行为。官方提供了与 Claude Desktop、Cursor IDE 的集成说明及示例场景。使用时需注意安全:网页数据默认不可信,切勿将原始抓取内容直接传入 LLM 提示词,应清洗校验、优先结构化提取并做域名或选择器白名单。

访问官网

工具介绍

Scrapeless MCP Server 是 Scrapeless 官方推出的 Model Context Protocol(MCP)服务器,定位为集成层,使 LLM、AI Agent 和 AI 应用能够实时与网页交互。它基于开放的 MCP 标准,可把 ChatGPT、Claude 等模型,以及 Cursor、Windsurf 等工具,与多种外部能力连接起来。

用途方面,该服务器面向构建 AI 研究助手、编码副驾驶或自主网页代理的场景,提供动态上下文和真实世界数据,并强调“不被拦截”。

主要能力包括:Google 服务集成(Search、Trends);浏览器自动化,用于页面级导航与交互;抓取动态、JS 密集型站点,并导出为 HTML、Markdown 或截图;通过跟随链接爬取整个网站,并以多种格式捕获每个页面;AI Scraper,可为 ChatGPT、Gemini、Perplexity、Copilot、Google AI Mode、Google AI Overview、Grok、Alexa 创建 AI Scraper 任务。

典型示例:使用 Scrapeless MCP Browser,Claude 可通过对话式命令执行网页导航、点击、滚动和抓取,并通过实时会话预览网页交互结果;使用该浏览器服务自动访问 Cloudflare 页面,完成后以 Markdown 格式提取并返回页面内容;使用 Universal API 抓取 JavaScript 渲染内容,导出为 Markdown 并写入本地 text.md 文件;使用 MCP Server 在 Google 搜索关键词 “web scraping”,获取前 10 条搜索结果(含标题、链接和摘要),并写入 serp.text 文件。此外,在 Cursor 中可提出“Search StackOverflow for a solution to this error”“Scrape the HTML from this page”等请求,由 Scrapeless 在后台处理。

使用方式上,首先需获取 Scrapeless Key:登录 Scrapeless Dashboard(提供免费试用),点击左侧 Setting,选择 API Key Management,点击 Create API Key,最后点击创建的 API Key 复制。然后在 MCP 客户端中配置,服务器支持 Stdio(本地执行)和 Streamable HTTP(托管 API 模式)两种传输模式;可通过环境变量(Stdio)或 HTTP 头(Streamable HTTP)设置可选参数,自定义浏览器会话行为。集成 Claude Desktop 时,打开 Claude Desktop,进入 Settings → Tools → MCP Servers,点击 Add MCP Server,粘贴上述 Stdio 或 Streamable HTTP 配置,保存并启用服务器。集成 Cursor IDE 时,按 Cmd + Shift + P 搜索 Configure MCP Servers,按上述格式添加 Scrapeless MCP 配置,保存文件并在需要时重启 Cursor。官方文档列出 Supported MCP Tools。

适用场景与限制:适用于 AI 研究助手、编码副驾驶和自主网页代理等需要实时网页数据的流程。安全最佳实践强调,抓取或提取的网页内容默认不可信,不当处理可能导致提示词注入或其他安全漏洞。具体应避免:将原始抓取内容直接传入 LLM 提示词(原始 HTML、JavaScript 或用户生成文本可能含隐藏注入载荷);未经校验让用户指定任意 URL 或 CSS 选择器;存储未过滤的抓取内容供后续提示使用。建议对所有提取内容进行清洗与验证,在下游逻辑或 AI 模型使用前剥离或转义有害标签和脚本;优先使用结构化提取,例如 scrape_html、scrape_markdown,或带已知安全选择器的 browser_get_text,仅提取可信内容;抓取动态生成页面时应用域名或选择器白名单,限制数据流来自已知可信来源;记录并监控通过浏览器或抓取工具发起的所有出站请求,尤其是在处理敏感数据、令牌或内部网络访问时。

联系渠道:邮箱 market@scrapeless.com,官网 https://www.scrapeless.com,社区论坛 https://discord.gg/Np4CAHxB9a。价格与收费细节除“Free trial available”外暂未提供。