用途:通过 md.genedai.me API 把任意网页转换为干净的 Markdown,用于抓取、阅读、提取或分析网页内容。当 WebFetch 失败、返回被拦截或不完整内容、遇到重定向、JS 重度 SPA(React/Vue/Angular)、付费墙或反爬保护,以及需要批量转换、结构化提取或整站爬取时优先使用。
主要能力:单 URL 转 Markdown;支持 ?raw=true 返回纯文本,?format=json&raw=true 返回含 url、title、markdown、method、timestamp 的 JSON,?format=html&raw=true 返回清理后的 HTML,?format=text&raw=true 返回纯文本;支持 selector 按 CSS 选择器提取元素、force_browser=true 强制无头 Chrome 渲染、no_cache=true 绕过缓存、engine=jina 走 Jina Reader。内置 21 个平台适配器,覆盖微信、知乎、飞书、语雀、掘金、CSDN、36Kr、头条、微博、网易、Twitter/X、Reddit、Telegram、GitHub、Substack、Medium、arxiv、Wikipedia、YouTube、Google Docs、Notion。高级 API 包括批量转换(POST /api/batch,最多 10 个 URL)、结构化字段提取(POST /api/extract)、深度爬取(POST /api/deepcrawl)、异步任务队列(POST /api/jobs)和健康检查(GET /api/health)。
使用方式:单 URL 转换无需认证,例如 curl -s "https://md.genedai.me/https://example.com/page?raw=true",也可省略协议自动补全 https://,或用 Accept: text/markdown 头。必须加 ?raw=true 或 Accept 头,否则返回 HTML 预览页。高级 API 需要 Authorization: Bearer <API_TOKEN> 头或 ?token=<token> 查询参数。建议用 curl -s,大页面通过 head -c 100000 防止上下文溢出,目标 URL 特殊字符需 URL 编码(# 转 %23)。
限制:按 IP 限流,连续调用需间隔 1-2 秒;空内容可加 force_browser=true;超时可缩小 selector 范围;429 需等待重试;503 需检查 token 或等待;乱码可尝试 engine=jina。中文平台建议配合 force_browser=true。响应头 X-Markdown-Method、X-Cache-Status、X-Browser-Rendered、X-Paywall-Detected、X-Markdown-Fallbacks 可辅助诊断。更多参数见 references/advanced-apis.md、references/platform-adapters.md 和 assets/recipes.md。