SuperAPI AI 工具集

baoyu-url-to-markdown

数据与分析

查看项目

更新于 10-15 19:56

技能介绍

用途:抓取任意 URL,经由 Chrome CDP 完成 JavaScript 渲染,把 HTML 转换为干净的 Markdown,并附带元数据,方便技术写作者与内容创作者沉淀网页资料、建设本地知识库。

主要能力:使用 Chrome CDP 实现完整 JS 渲染;提供两种抓取模式(auto 与 wait-for-user);输出含元数据的整洁 Markdown;通过 wait 模式处理需登录页面;支持 EXTEND.md 自定义配置(默认输出目录、默认抓取模式、超时设置)。

脚本位于该技能的 scripts/ 子目录,CLI 入口为 scripts/main.ts。使用前需将文档中的 ${SKILL_DIR} 替换为 SKILL.md 所在目录的实际路径。

基本用法: 自动模式(默认,页面加载后抓取): npx -y bun ${SKILL_DIR}/scripts/main.ts <url> 等待模式(等待用户信号后抓取): npx -y bun ${SKILL_DIR}/scripts/main.ts <url> --wait 保存到指定文件: npx -y bun ${SKILL_DIR}/scripts/main.ts <url> -o output.md

选项:<url> 待抓取地址;-o <path> 输出文件路径(默认自动生成);--wait 抓取前等待用户信号;--timeout <ms> 页面加载超时(默认 30000)。

抓取模式:auto(默认)在网络空闲时抓取,适合公开页面、静态内容;wait(--wait)由用户确认就绪后抓取,适合需登录、懒加载或付费墙页面。wait 模式流程:以 --wait 运行后脚本提示“Press Enter when ready”,确认页面就绪后向 stdin 发送换行触发抓取。

输出格式:YAML front matter,包含 url、title、description、author、published、captured_at 字段,其后为转换后的 Markdown 内容。默认输出目录为 url-to-markdown/<domain>/<slug>.md;<slug> 取自页面标题或 URL 路径(kebab-case,2–6 个词);同名冲突时追加时间戳 <slug>-YYYYMMDD-HHMMSS.md。

配置:可用 Bash 检查 EXTEND.md 是否存在,优先项目级 .baoyu-skills/baoyu-url-to-markdown/EXTEND.md,其次用户级 $HOME/.baoyu-skills/baoyu-url-to-markdown/EXTEND.md;存在则读取解析并应用设置,不存在则使用默认值。

环境变量:URL_CHROME_PATH 自定义 Chrome 可执行文件路径;URL_DATA_DIR 自定义数据目录;URL_CHROME_PROFILE_DIR 自定义 Chrome 配置文件目录。

排查:找不到 Chrome 时设置 URL_CHROME_PATH;超时可增大 --timeout;复杂页面可尝试 --wait 模式。

限制:具体安装方式、支持的平台范围以及更多边界情况,资料中暂未提供。