用途:抓取任意 URL 并转换为简洁 Markdown,基于 baoyu-fetch CLI(Chrome CDP 加站点专用适配器)。
主要能力:内置 x、youtube、hn、generic 适配器,默认自动识别;支持 markdown 或 json 输出;可下载页面图片和视频到本地并重写链接;支持无头抓取,也可等待登录或验证码交互。
使用方式:先解析 ${BUN} 运行时;若 {baseDir}/scripts/node_modules 不存在,运行 ${BUN} install --cwd {baseDir}/scripts;将 ${READER} 设为 {baseDir}/scripts/baoyu-fetch。常用命令:${READER} <url>;${READER} <url> --output article.md;加 --download-media 下载媒体;加 --wait-for interaction 等待交互;--format json 输出 JSON;--adapter youtube 指定适配器。输出路径需由代理自行构造,默认 ./url-to-markdown/{domain}/{slug}/{slug}.md,冲突时追加时间戳。偏好通过 EXTEND.md 配置(项目、XDG、用户主目录三级优先级),支持 download_media(ask/1/0)与 default_output_dir;未找到 EXTEND.md 时必须先完成首次设置,不得静默使用默认值。
适用场景:把网页、推文、YouTube 字幕、Hacker News 等页面内容转成 Markdown 以便存档或后续处理。
限制:无头抓取默认结果视为暂定,部分站点在无头模式下渲染不同,可能静默返回低质量内容,需运行后检查 Markdown 质检。下载媒体需先设置 --output。Chrome 未找到可用 --browser-path,超时可调大 --timeout,登录或验证码用 --wait-for interaction,调试可用 --debug-dir。环境变量 BAOYU_CHROME_PROFILE_DIR 可指定 Chrome 用户数据目录。其余细节暂未提供。