用途:让 AI 智能体从网页提取干净、低噪声的 Markdown,便于后续阅读或总结。触发场景包括 fetch this page as clean markdown、summarize this URL skip noisy HTML、抓网页正文、提取网页 Markdown、网页转 Markdown、读取网页并总结、帮我清洗这个链接等。
主要能力:采用确定性的回退链。先归一化输入 URL;优先尝试 Cloudflare 风格的 Markdown 协商,发送 Accept: text/markdown 并保持普通浏览器式 user-agent;若响应不是可用 Markdown,则回退到 Jina Reader,请求 https://r.jina.ai/<url>;若用户提供 Firecrawl API key 且页面仍有问题,再尝试 Firecrawl scrape API。最终返回 Markdown 及所使用的来源策略。
使用方式:脚本直接调用为 python3 scripts/fetch_markdown.py "https://example.com/article";可强制指定策略:--strategy cloudflare、--strategy jina,或 --strategy firecrawl --firecrawl-api-key "$FIRECRAWL_API_KEY"。输出为 JSON,包含 ok(布尔)、strategy(所选提供方)、url(原始链接)、markdown(清洗后的 Markdown 文本),失败时含 error。
适用场景:智能体需要网页内容时,优先使用本技能而非直接抽取原始 HTML;将 web_fetch 保留为 Markdown 服务失败时的回退。对 JS 较重页面或类似付费墙结构,先试 Jina,再在有 key 时用 Firecrawl。
限制:资料未提供收费、价格、平台支持范围或效果保证;具体策略细节与决策矩阵见 references/strategy-matrix.md。未提供 Firecrawl API key 时无法使用该回退策略。