SuperAPI AI 工具集

fetch-mcp

fetch-mcp 是一个灵活的 HTTP 抓取 Model Context Protocol(MCP)服务器,用于以多种格式获取网页内容,包括原始 HTML、JSON、纯文本、Markdown、可读文章正文以及 YouTube 视频字幕。它提供 fetch_html、fetch_markdown、fetch_txt、fetch_json、fetch_readable 和 fetch_youtube_transcript 等工具,可满足不同内容提取需求。项目支持代理、自定义请求头、响应大小限制、分页参数以及 SSRF 防护,适用于需要通过 MCP 客户端集成网页抓取能力的场景。

访问官网

工具介绍

fetch-mcp 是一个基于 Model Context Protocol 的 HTTP 抓取服务器,主要用途是让 MCP 客户端能够方便地获取网页内容,并将其转换为适合处理的多种格式。

主要能力包括:

  • fetch_html:获取网站并返回原始 HTML 内容。
  • fetch_markdown:获取网站并将其内容转换为 Markdown。
  • fetch_txt:获取网站并返回去除 HTML 标签、脚本和样式后的纯文本。
  • fetch_json:获取 URL 并返回 JSON 响应。
  • fetch_readable:使用 Mozilla Readability 提取网页的主要文章内容,以 Markdown 返回。该工具会剥离导航、广告和样板内容,适合文章和博客文章。
  • fetch_youtube_transcript:获取 YouTube 视频的字幕/转录文本。优先使用 yt-dlp(如果可用),否则直接从页面提取。额外接受 lang 参数(默认 "en")以选择字幕语言。

使用方式方面,文档说明可作为 MCP 服务器添加到 MCP 客户端配置中,或全局安装。还提及支持环境变量,可示例自定义限制。具体安装命令、配置示例及环境变量细节在提供的资料中未完整给出。

适用场景包括:需要通过 MCP 客户端抓取网页并转换为 HTML、JSON、纯文本或 Markdown 的自动化流程;需要使用 Mozilla Readability 提取文章正文以去除广告和导航;需要获取 YouTube 视频字幕;以及在防火墙后通过代理进行请求。

限制与安全特性:内置 SSRF 防护(阻止私有/localhost 地址及 DNS 重绑定),提供响应大小限制以防止内存耗尽,支持分页(max_length 和 start_index)以及自定义请求头。项目使用 MIT 许可证。