用途:当用户要求抓取链接、读取文章、提取网页正文、将页面转为 Markdown,或获取 X/Twitter、微信、知乎、Medium 等公开页面文字内容时使用。
核心思路是渐进回退。任何 URL 都按同一顺序尝试,不区分网页类型:先用 WebFetch 直接抓取;若失败或内容不完整,则并行尝试 r.jina.ai 与 defuddle.md 两种代理前缀,取内容更完整的结果;若代理也失败,则用 WebSearch 搜索相关内容兜底。判断不完整的标准:返回正文少于 200 字、明显缺失关键段落,或返回错误、空白页面。
方法一:r.jina.ai 前缀。在目标 URL 前加 https://r.jina.ai/ 后用 WebFetch 抓取,例如 https://r.jina.ai/https://any-website.com/any-page。特点:自动执行 JS 渲染,对动态页面和 SPA 支持好,返回清洗后的 Markdown 正文,响应稍慢但覆盖面广。
方法二:defuddle.md 前缀。在目标 URL 前加 https://defuddle.md/ 后用 WebFetch 抓取,例如 https://defuddle.md/https://any-website.com/any-page。特点:自动去除广告、导航栏等干扰元素,只保留正文,返回 Markdown,响应较快。
两种代理各有擅长,无法预知哪个对特定网站效果更好,失败时应并行尝试两者。限制:仅支持公开可访问页面,需要登录的内容无法获取;图片等媒体资源不会返回,仅返回文字内容;不适用于需要登录的页面、付费墙绕过、媒体下载等场景。该技能持续更新。