用途:通过HTTP抓取公开网页的静态HTML,使用Turndown转换为Markdown并保存到本地,适合公开博客、文档、新闻页等由服务端渲染HTML的页面,也用于对已有URL页面做本地Markdown备份。
安装与要求:进入 skills/url-to-markdown 目录后执行 npm install,要求 Node.js >= 14。
用法:node scripts/url-to-markdown.js <URL> [输出文件路径]。URL为必填的公开http(s)链接,微信链接会被拒绝;输出文件路径可选,默认 output.md。示例:node scripts/url-to-markdown.js https://example.com/post;node scripts/url-to-markdown.js https://docs.example.com/guide ./guide.md。
输出格式:以“# 页面标题”开头,随后是“来源:页面URL”,再接转换后的正文。
限制:使用静态HTTP抓取而非浏览器渲染,动态内容可能缺失;转换前会去除script、style、noscript、iframe标签;保留远程图片链接而不下载到本地,防盗链可能导致图片无法显示;TLS证书验证保持启用。
不适用场景:mp.weixin.qq.com链接(请用wechat-article-fetcher)、需要登录或付费的页面、重度客户端渲染的SPA(React/Vue应用壳,body几乎为空)。
常见问题:获取失败时确认URL公开可访问并检查网络与HTTP状态;内容几乎为空可能是SPA,本工具不适用;图片打不开多因防盗链,链接仍指向原站。