用途:面向需要抓取网页内容、提取文章正文、获取社交媒体帖子、读取任意 URL 文本或 Markdown 的场景,例如“获取某个网页的内容”“抓取这个链接”“读取这篇文章”“把这个页面转成 Markdown”。
核心思路为渐进回退,确保拿到内容。使用方式与回退顺序如下:
- 先用 WebFetch 直接抓取,速度最快。
- 若失败或内容不完整,并行尝试 r.jina.ai 与 defuddle.md 两种代理前缀,取内容更完整的结果。
- 若代理也失败,使用 WebSearch 搜索相关内容作为兜底。 判断“不完整”的依据:返回正文少于 200 字、明显缺失关键段落,或返回错误/空白页面。
方法一:在目标 URL 前加 https://r.jina.ai/ 前缀后用 WebFetch 抓取,例如 https://r.jina.ai/https://any-website.com/any-page。特点是会自动执行 JS 渲染,对动态页面和 SPA 支持好,返回清洗后的 Markdown,响应稍慢但覆盖面广。
方法二:在目标 URL 前加 https://defuddle.md/ 前缀后用 WebFetch 抓取,例如 https://defuddle.md/https://any-website.com/any-page。特点是自动去除广告、导航栏等干扰元素,只保留正文,返回 Markdown,响应较快。
限制:两种代理方式仅支持公开可访问页面,需要登录的内容无法获取;图片等媒体资源不会返回,仅返回文字内容;两种方式各有擅长,无法预知哪个对特定网站效果更好,失败时应并行尝试两者。该 skill 持续更新,如需添加新的获取方法,按相同格式补充。