用途:将公开的 http/https 网页转换为 LLM 可直接使用的 Markdown,服务于摘要、RAG 等 AI 工作流。
主要能力:提供脚本 scripts/markdown_new_fetch.py 完成抓取与转换;支持三种方法——auto(默认,走最快成功管线)、ai(强制 Workers AI 做 HTML 转 Markdown)、browser(强制无头浏览器渲染,适合 JS 重的页面);可用 --retain-images 保留图片链接;可用 --deliver-md 强制输出 .md 文件,内容以 <url>...</url> 包裹,省略 --output 时按 URL 自动生成文件名;可读取响应元数据(x-markdown-tokens、x-rate-limit-remaining 及 JSON 元数据)用于后续规划。
使用方式:先校验 URL 为公开 http/https,再用 auto 运行,若缺少 JS 渲染内容改用 browser。脚本路径需从技能目录解析,不要从任意工作区根目录运行。示例:python3 ~/.codex/skills/markdown-new/scripts/markdown_new_fetch.py 'https://example.com';或 cd ~/.codex/skills/markdown-new 后 python3 scripts/markdown_new_fetch.py 'https://example.com'。输出到文件:python3 scripts/markdown_new_fetch.py 'https://example.com' > page.md;带浏览器与图片:python3 scripts/markdown_new_fetch.py 'https://example.com' --method browser --retain-images --output page.md。API 支持前缀模式 https://markdown.new/https://example.com?method=browser&retain_images=true,以及 POST 模式 POST https://markdown.new/,JSON 体为 {"url":"https://example.com","method":"auto","retain_images":false};自动化建议用 POST。
适用场景:需要把网页内容喂给模型做摘要、检索增强生成等。
限制:仅转换公开可访问页面;遵守 robots.txt、服务条款与版权;429 表示限流,文档记录为每 IP 每天 500 次请求;输出不保证对每个页面都完整,关键提取需人工核验。更多细节见 references/markdown-new-api.md。