用途:把任意网页抓取并转换为干净的 Markdown。抓取使用 baoyu-fetch CLI,基于 Chrome CDP 配合站点专用适配器,常见来源(如 X/Twitter、YouTube 字幕)有内置适配器。
主要能力:支持 Markdown 或 JSON 输出;可保存到文件或直接输出到 stdout;可用 --adapter 强制指定适配器(x、youtube、hn、generic,默认自动检测);支持无头模式(--headless);可等待登录/CAPTCHA 交互(--wait-for interaction 或 force);可下载图片/视频到本地 imgs/、videos/ 并重写 Markdown 链接;支持复用已有 CDP 端点、自定义浏览器路径与 Chrome 用户数据目录;可输出调试产物(document.json、page.html、network.json 等)。
使用方式:运行时先解析 Bun 作为 ${BUN} 运行时;若 {baseDir}/scripts/node_modules 不存在,运行 ${BUN} install --cwd {baseDir}/scripts;然后令 ${READER} = {baseDir}/scripts/baoyu-fetch。常用命令: ${READER} <url> ${READER} <url> --output article.md ${READER} <url> --output article.md --download-media ${READER} <url> --wait-for interaction --output article.md ${READER} <url> --format json --output article.json ${READER} <url> --adapter youtube --output transcript.md 输出路径需由调用方自行构造(baoyu-fetch 不会自动生成),按 {base_dir}/{domain}/{slug}/{slug}.md 组织,便于媒体文件隔离。
偏好配置:按优先级查找 EXTEND.md(项目 .baoyu-skills/、XDG 配置目录、用户主目录)。若未找到,必须先用用户输入工具完成首次设置(媒体处理、默认输出目录、偏好保存位置),不得静默创建默认值。支持键:download_media(ask/1/0)、default_output_dir。取值优先级为 CLI 参数 → EXTEND.md → 技能默认值。
适用场景与限制:适合抓取文章、帖子、视频字幕等页面并整理为 Markdown。默认无头抓取的结果应视为临时,需在每次无头运行后检查保存的 Markdown 质量(参见质量门清单);部分站点在无头模式下渲染不同,可能静默返回低质量内容而不报错。遇到 Chrome 未找到、超时、登录或 CAPTCHA 等情况,分别使用 --browser-path、增大 --timeout、--wait-for interaction 处理,必要时用 --debug-dir 排查。环境变量支持 BAOYU_CHROME_PROFILE_DIR。其余未在资料中说明的收费、平台与效果信息暂未提供。