SuperAPI AI 工具集

baoyu-url-to-markdown

通用与其它

查看项目

更新于 10-16 03:35

技能介绍

用途:抓取任意网页并转换成整洁的 Markdown。底层调用 baoyu-fetch CLI,基于 Chrome CDP 并配合站点专用适配器,内置 X/Twitter、YouTube 字幕、Hacker News 及通用适配器。

主要能力:默认无头抓取并输出到 stdout,也可保存文件;支持 markdown 或 json 输出;可强制指定适配器(x、youtube、hn、generic,默认自动检测);支持等待登录/验证码交互(interaction/force 模式);可选 --download-media 下载图片视频到本地并重写链接;支持复用已有 CDP 端点、自定义浏览器路径与 Chrome 配置目录;可输出调试产物。

使用方式:需先解析 Bun 运行时,若 scripts/node_modules 不存在则运行 ${BUN} install --cwd {baseDir}/scripts,并以 {baseDir}/scripts/baoyu-fetch 作为命令入口。常用形式:${READER} <url>;加 --output article.md 保存;加 --download-media 下载媒体(需配合 --output);--wait-for interaction 处理登录或验证码;--format json 输出 JSON;--adapter youtube 指定适配器。输出路径需由智能体自行构造,格式为 {base_dir}/{domain}/{slug}/{slug}.md,冲突时追加时间戳。

配置:通过 EXTEND.md 管理偏好,按项目、XDG、用户主目录优先级读取;支持 download_media(ask/1/0)、default_output_dir。首次未找到 EXTEND.md 时必须先询问三项偏好再创建,禁止静默使用默认值。参数优先级为 CLI 参数 → EXTEND.md → 技能默认值。

适用场景:需要将网页、推文、视频字幕、论坛帖等转为 Markdown 做整理或存档时。

限制:无头抓取结果可能因站点渲染差异而质量偏低,需按质量门清单人工检查;登录/验证码处理依赖浏览器环境;部分行为如自定义扩展细节暂未提供。