SuperAPI AI 工具集

baoyu-url-to-markdown

通用与其它

查看项目

更新于 10-15 21:47

技能介绍

用途:抓取任意 URL(基于 Chrome CDP 与站点专用适配器),将页面内容转换为干净的 Markdown。

主要能力:内置 X/Twitter、YouTube 字幕、Hacker News 及通用适配器,可自动检测;支持 Markdown 或 JSON 输出;可下载图片与视频并重写链接;可等待登录或 CAPTCHA 交互后继续。

用法:先用 Bun 运行时准备依赖,运行 ${BUN} install --cwd {baseDir}/scripts,再调用 {baseDir}/scripts/baoyu-fetch。示例: ${READER} <url> ${READER} <url> --output article.md ${READER} <url> --output article.md --download-media ${READER} <url> --wait-for interaction --output article.md ${READER} <url> --format json --output article.json ${READER} <url> --adapter youtube --output transcript.md

常用选项包括 --output、--format、--json、--adapter(x/youtube/hn/generic)、--headless、--wait-for、--timeout、--interaction-timeout、--download-media、--media-dir、--cdp-url、--browser-path、--chrome-profile-dir、--debug-dir。

偏好设置:按优先级查找 EXTEND.md(项目 .baoyu-skills/、XDG、用户主目录),首次未找到时须通过用户输入工具询问媒体处理、默认输出目录和保存位置,不得静默创建默认值。支持 download_media(ask/1/0)与 default_output_dir。值优先级为 CLI 参数 → EXTEND.md → 技能默认值。

输出路径需由智能体自行构造:{base_dir}/{domain}/{slug}/{slug}.md,冲突时追加时间戳。

限制:默认 headless 抓取视为暂定结果,部分站点在 headless 下可能返回低质量内容,需运行后检查 Markdown 质量;--download-media 需配合 --output;Chrome 未找到、超时、登录/CAPTCHA 等问题可分别用 --browser-path、--timeout、--wait-for interaction 处理。其余细节资料暂未提供。