fetch-mcp 是一个基于 Model Context Protocol 的 HTTP 抓取服务器,主要用途是让 MCP 客户端能够方便地获取网页内容,并将其转换为适合处理的多种格式。
主要能力包括:
- fetch_html:获取网站并返回原始 HTML 内容。
- fetch_markdown:获取网站并将其内容转换为 Markdown。
- fetch_txt:获取网站并返回去除 HTML 标签、脚本和样式后的纯文本。
- fetch_json:获取 URL 并返回 JSON 响应。
- fetch_readable:使用 Mozilla Readability 提取网页的主要文章内容,以 Markdown 返回。该工具会剥离导航、广告和样板内容,适合文章和博客文章。
- fetch_youtube_transcript:获取 YouTube 视频的字幕/转录文本。优先使用 yt-dlp(如果可用),否则直接从页面提取。额外接受 lang 参数(默认 "en")以选择字幕语言。
使用方式方面,文档说明可作为 MCP 服务器添加到 MCP 客户端配置中,或全局安装。还提及支持环境变量,可示例自定义限制。具体安装命令、配置示例及环境变量细节在提供的资料中未完整给出。
适用场景包括:需要通过 MCP 客户端抓取网页并转换为 HTML、JSON、纯文本或 Markdown 的自动化流程;需要使用 Mozilla Readability 提取文章正文以去除广告和导航;需要获取 YouTube 视频字幕;以及在防火墙后通过代理进行请求。
限制与安全特性:内置 SSRF 防护(阻止私有/localhost 地址及 DNS 重绑定),提供响应大小限制以防止内存耗尽,支持分页(max_length 和 start_index)以及自定义请求头。项目使用 MIT 许可证。