SuperAPI AI 工具集

fetch-url-as-markdown

智能体与模型

查看项目

更新于 10-15 19:50

技能介绍

用途:抓取任意网页 URL,返回只含正文的干净 Markdown,去除导航、页脚和广告。默认本地免费运行,本地无法提取时回退到 Exa MCP。

主要能力:默认输出 markdown,保留标题、列表、代码结构,包含链接和表格,并生成含 title、author、date、url、hostname 的 YAML frontmatter;使用真实浏览器 User-Agent 和 30 秒超时;内置反存根保护,拒绝非文本内容类型、检测 Cloudflare/JS 墙标记、拒绝过短正文。

使用方式:先运行 python3 ~/.claude/skills/fetch-url-as-markdown/scripts/fetch_url.py "<URL>"。退出码 1 或 2 时回退到 Exa MCP,用同一 URL 调用 mcp__exa__web_search_advanced_exa,query 设为 URL,includeDomains 设为该 URL 主机,numResults=1,textMaxCharacters=50000,type="auto"。退出码 3 表示未安装 trafilatura,可执行 python3 -m pip install --break-system-packages trafilatura 后重试。退出码 4 表示 URL 为二进制内容,不应回退 Exa,应改用对应专用技能。

常用参数:--no-links 去链接、--no-tables 去表格、--no-metadata 去 YAML 头、--comments 含评论、--images 含图片引用、--precision 更精简输出。

适用场景:文章、博客、文档、README、wiki 用 trafilatura;JS 重的 SPA、登录墙、Cloudflare 页面用 Exa 回退;批量 URL 用 trafilatura,无配额和 API key 限制。

限制:二进制内容不支持;本地提取失败需依赖 Exa MCP;评论默认不包含;图片引用为实验性。具体收费、平台支持等资料暂未提供。