用途:在已知具体 URL 时获取网页内容,全部网页内容抓取均使用 curl(Bash)或内置 WebFetch 工具,无需 MCP 服务器。
主要能力:WebFetch 抓取 URL 并返回干净的 markdown,可处理 JavaScript 渲染页面、剥离导航和样板内容,适合文档、文章、博客、README;curl 用于需要请求头、认证、POST 请求体或原始格式控制的场景。支持 HTTP GET/POST/PUT/PATCH/DELETE、JSON API、HTML、Bearer Token、API Key、Basic Auth、Cookie 保存与复用、分页、超时与重试、响应头检查、状态码捕获。
使用方式:默认用 WebFetch 读取页面;需要请求头、认证、POST 或原始格式时改用 curl。取 HTML 用 curl -sL "https://example.com/page";取 JSON 用 curl -s "https://api.example.com/v1/data" -H "Accept: application/json" | jq '.';认证请求用 -H "Authorization: Bearer $API_TOKEN" 或 -u "username:$PASSWORD";POST 用 -X POST 配 -d 或 -F;保存响应用 -o。
适用场景:文档与文章读取、API 调试、结构化数据提取、带认证或状态的请求、批量分页抓取、响应头与状态码检查。
限制:WebFetch 不支持自定义请求头、POST 请求体或 Cookie;curl 不渲染 JavaScript,JS 密集型 SPA 宜用 WebFetch;大响应可能超出上下文,应先经 jq、head 或 python3 提取所需数据;二进制内容应用 -o 存盘而非输出到 stdout;凭证应存于环境变量,不要硬编码;SSL 错误不应使用 -k,应修复根因。