用途:当用户给出 URL(http/https 链接)并要求读取、提取、抓取、分析或总结网页内容,或需要处理文章、博客、文档链接时,该技能可自动触发,将页面转为干净 Markdown 输出。
主要能力:通过 markdown.new 服务抓取网页;相比原始 HTML 可减少约 80% token,让约 5 倍内容进入上下文窗口;无需外部依赖或解析库;提供三级转换策略(Markdown 优先、AI 回退、浏览器渲染)。输出附带元数据,含 title、url、method、duration_ms、fetched_at。
使用方式:命令行执行 scripts/fetch.sh "https://example.com";可用 --method browser 处理 JS 较重的站点,--retain-images 保留图片引用,--output <file> 保存到文件。转换方法有 auto(默认,先 Markdown 再按需回退 AI 或浏览器)、ai(Cloudflare Workers AI)、browser(完整浏览器渲染)。
适用场景:提取文章、文档与博客;构建基于网页内容的 RAG 流程;总结网页;抓取内容用于分析;将网站转为 Markdown。
限制与常见问题:默认方法不执行 JS,动态内容缺失时需用 browser;页面使用 iframe、shadow DOM、Web Components 时可能解析失败;服务可能触发 429/403 或超时,可加请求间隔重试;编码不匹配可能产生乱码;不绕过登录、付费墙或地理限制,仅能使用公开预览、RSS 或归档方案;服务端故障时无内置替代,可改用 curl 或稍后重试。其它未提供的事实暂未提供。