用途
ai-first-scraper-mcp 是一个 MCP（Model Context Protocol）服务器，旨在让 Claude Desktop、Cursor、Cline 等兼容 MCP 的智能体直接接入无广告的网页抓取与搜索能力。它解决了智能体自行调用 curl 后面对大量广告 HTML 难以解析的问题——智能体收到的是干净的 Markdown，可直接用于推理。
主要能力
该服务器为任何兼容 MCP 的智能体添加三个工具：
- fetch_page：抓取单个页面。
- fetch_pages_batch：并行批量抓取多个页面。
- search_web：搜索网络并返回前 k 个页面。 所有抓取与搜索结果都由 ai-first-scraper 和 ai-first-search API 支持，输出为干净的 Markdown。
使用方式
接入方式简单，只需一行配置。推荐使用 uvx（无需安装，按需从 PyPI 运行，速度最快）；也可选择 pip install。配置完成后重启客户端（Claude Desktop / Cursor / Cline），三个工具会自动出现。 配置文件的存放位置在项目文档中给出。默认情况下，服务器调用公共的 ai-first-scraper.onrender.com 和 ai-first-search.onrender.com 实例。如需自托管，可在 MCP 配置中设置环境变量指向自己的后端。 验证方式：在 MCP 客户端中让智能体执行类似“使用 search_web 工具找到关于 MCP 的最近 3 篇文章，并用 5 个要点分别总结”的指令。智能体应调用 search_web，获得每篇文章的 Markdown，并在不接触原始 HTML 的情况下生成摘要。
适用场景
适用于需要让 AI 智能体读取网页内容、进行网络搜索并获取结构化文本的场景，例如信息检索、内容摘要、研究辅助等。
限制
资料中未提供关于抓取频率、API 使用限额、收费模式、支持平台的具体限制信息。该服务器依赖 ai-first-scraper 和 ai-first-search API，默认使用公共实例，也可自托管，但自托管的具体要求未在资料中说明。项目采用 MIT 许可证。
