SuperAPI AI 工具集

url-to-markdown

通用与其它

查看项目

更新于 10-16 02:31

技能介绍

用途:通过 Chrome CDP 抓取任意 URL,将网页 HTML 转换为整洁的 Markdown,并附带元数据。

主要能力:使用 Chrome CDP 完整渲染 JavaScript;提供两种捕获模式——自动模式(页面加载后等待网络空闲即捕获)和等待模式(--wait,页面打开后由用户交互,如登录、滚动,再发出信号捕获);输出带 url、title、description、author、published、captured_at 等元数据的 Markdown;按域名与 slug 组织输出文件,slug 由页面标题或 URL 路径生成 kebab-case,冲突时追加时间戳。

使用方式:脚本位于技能目录的 scripts/ 子目录,入口为 scripts/main.ts。命令示例:npx -y bun ${SKILL_DIR}/scripts/main.ts <url>(自动模式);加 --wait 为等待模式;-o output.md 指定输出文件;--timeout <ms> 设置页面加载超时(默认 30000)。等待模式下脚本输出提示后,需向 stdin 发送换行触发捕获。

适用场景:自动模式适合公开、静态、无需登录的页面;等待模式适合需登录、需交互、懒加载或付费墙后的页面。

限制与配置:需已安装 Chrome,否则设置 URL_CHROME_PATH;页面超时可增大 --timeout;复杂页面可尝试等待模式;空内容可能因 JS 渲染时间不足。支持环境变量 URL_CHROME_PATH、URL_DATA_DIR、URL_CHROME_PROFILE_DIR,以及通过 EXTEND.md 扩展配置(项目或用户路径优先加载)。