Markdown Proxy 用于将任意 URL 转换为干净的 Markdown,支持需要登录的页面、PDF 以及专有平台。
用途 该工具面向需要把网页、文档或 PDF 内容整理为 Markdown 的场景。它特别声明可处理登录后才能访问的页面,例如 X/Twitter、微信公众号、飞书/Lark 文档。
主要能力 工具采用“先判断再执行”的 URL 路由机制,根据 URL 类型选择不同通道:
- mp.weixin.qq.com:走 scripts/fetch_weixin.py,原因是公众号需 Playwright 抓取。
- feishu.cn/docx/、feishu.cn/wiki/、larksuite.com/docx/:走 scripts/fetch_feishu.py,原因是需飞书 API 认证。
- youtube.com、youtu.be:调用 yt-search-download skill,原因是 YouTube 有专用工具链。
- .pdf(URL 或本地路径):走 scripts/extract_pdf.sh,用于 PDF 专用提取。
- 其他所有 URL:走 scripts/fetch.sh,采用代理级联自动 fallback。
使用方式 工作流分为三步。 第一步:按 URL 类型路由。若 URL 包含 mp.weixin.qq.com,则执行 python3 ~/.claude/skills/qiaomu-markdown-proxy/scripts/fetch_weixin.py "URL"。若包含 feishu.cn/docx/、feishu.cn/wiki/ 或 larksuite.com/docx/,则执行 python3 ~/.claude/skills/qiaomu-markdown-proxy/scripts/fetch_feishu.py "URL"。若包含 youtube.com 或 youtu.be,则调用 yt-search-download skill。若以 .pdf 结尾或为本地 PDF 路径:远程 URL 先尝试 curl -sL "https://r.jina.ai/{url}",失败则下载后使用 extract_pdf.sh;本地路径则执行 bash ~/.claude/skills/qiaomu-markdown-proxy/scripts/extract_pdf.sh "PATH"。其他情况执行 bash ~/.claude/skills/qiaomu-markdown-proxy/scripts/fetch.sh "URL"。 第二步:展示内容。抓取后向用户展示标题、作者(如有)、来源(公众号/飞书文档/网页/PDF)、原始 URL、3 至 5 句摘要,以及完整 Markdown 正文(过长时截断至 200 行)。 第三步:默认保存文件。默认保存到 ~/Downloads/{title}.md,带 YAML frontmatter。文件名使用文章标题并移除特殊字符;格式为 YAML frontmatter(title、author、date、url、source)加 Markdown 正文;并告知用户保存路径。仅当用户表示“仅预览”或“不要保存”时跳过保存。保存并报告路径后即停止,除非被要求,否则不分析、评论或讨论内容。
示例 通用 URL:bash ~/.claude/skills/qiaomu-markdown-proxy/scripts/fetch.sh "https://example.com/article" X/Twitter 帖子:bash ~/.claude/skills/qiaomu-markdown-proxy/scripts/fetch.sh "https://x.com/username/status/1234567890" 微信文章:python3 ~/.claude/skills/qiaomu-markdown-proxy/scripts/fetch_weixin.py "https://mp.weixin.qq.com/s/abc123" 飞书文档:python3 ~/.claude/skills/qiaomu-markdown-proxy/scripts/fetch_feishu.py "https://xxx.feishu.cn/docx/xxxxxxxx" 远程 PDF:curl -sL "https://r.jina.ai/https://example.com/paper.pdf" 本地 PDF:bash ~/.claude/skills/qiaomu-markdown-proxy/scripts/extract_pdf.sh "/path/to/paper.pdf" 自定义代理:bash ~/.claude/skills/qiaomu-markdown-proxy/scripts/fetch.sh "https://example.com" "http://127.0.0.1:7890"
适用场景 适合需要将网页文章、社交媒体帖子、公众号文章、飞书文档、YouTube 内容或 PDF 转换为 Markdown 并保存归档的场景。
限制与依赖 r.jina.ai 和 defuddle.md 无需 API key。fetch.sh 处理代理级联并自动 fallback。内容校验会过滤错误页面,并要求超过 5 行。微信脚本依赖:pip install playwright beautifulsoup4 lxml && playwright install chromium。飞书脚本依赖环境变量 FEISHU_APP_ID 与 FEISHU_APP_SECRET。PDF 提取依次尝试 marker-pdf、pdftotext、pypdf。详细方法文档见 references/methods.md。