用途
mcp-server-scraper 是一个基于 MCP（Model Context Protocol）的网页抓取服务器，用于从任意 URL 提取干净、可读的内容，返回 Markdown 文本、链接和元数据。它主要解决在使用 AI 助手时，需要引用文档页面、博客文章或 API 参考时手动复制粘贴内容的问题。
主要能力
- 从任意 URL 提取干净的 Markdown 文本。
- 提取页面中的链接。
- 提取元数据（如 OG 图片和描述）。
- 支持在页面中搜索特定关键词（如“authentication”）。
- 支持批量抓取多个 URL 并分别生成摘要。
使用方式
该服务器无需 API 密钥或环境变量，通过 npx 运行。可添加到不同 MCP 客户端的配置中：
- 添加到
.cursor/mcp.json。 - 添加到
claude_desktop_config.json。 - 添加到 MCP 设置（例如
.vscode/mcp.json）。
配置命令为：npx -y mcp-server-scraper（stdio 服务器）。
对于 Cursor，可以克隆仓库并复制或符号链接到 ~/.cursor/plugins/local/mcp-server-scraper，然后重新加载窗口。技能和 MCP 会显示在 Customize > Plugins 下。Cursor 和 VS Code 的安装按钮同样会添加相同的 npx -y mcp-server-scraper stdio 服务器。
该仓库是一个 Agent Plugins 1.0.0 包，包含 plugin.json、可移植的 mcp.json 和 skills/，与 MCP 服务器一起发布。
适用场景
- 抓取文档页面并让 AI 助手进行摘要。
- 从页面中提取所有链接。
- 获取 URL 的 OG 图片和描述。
- 在页面中搜索特定术语。
- 批量抓取多个 URL 并生成摘要。
它最适合服务器渲染的页面，如文档站点、博客文章、文章和新闻站点。
限制
- 不处理 JavaScript 密集型 SPA（单页应用）。它获取 HTML 并在 Node 中解析，对于 React 仪表板等客户端渲染的站点，需要使用浏览器 MCP。
- 与 Firecrawl 不同，Firecrawl 是托管的抓取 API 并计费，而此服务器通过 npx 在本地运行，免费，适合文档、博客、文章 URL。
- 无需 API 密钥或环境变量，只需将 MCP 客户端指向
npx -y mcp-server-scraper。
技术实现
使用 Mozilla Readability（Firefox 阅读模式背后的引擎）加上 linkedom 在 Node 中进行快速 HTML 解析。无需无头浏览器。
许可
MIT © Ofer Shapira
