SuperAPI AI 工具集

web-fetch

前端与建站

查看项目

更新于 10-16 09:34

技能介绍

用途:抓取 http/https 网页内容,并将 HTML 转换为整洁的 markdown,便于阅读文档、文章和参考页面。

主要能力:以 curl 获取页面源码,再通过 html2markdown 的 CSS 选择器只保留正文、剔除导航等噪声;支持 --include-selector、--exclude-selector、--domain 选项,可将相对链接转为绝对链接。资料给出常见站点模式:platform.claude.com 和 docs.anthropic.com 用 #content-container;developer.mozilla.org 用 article;github.com 文档用 article 并排除 nav,.sidebar;通用页面用 article,main,[role=main],排除 nav,header,footer。

使用方式:已知站点可直接执行,例如 curl -s "<url>" | html2markdown --include-selector "#content-container"。未知站点可用通用回退脚本:bun ~/.claude/skills/web-fetch/fetch.ts "<url>",首次使用需执行 cd ~/.claude/skills/web-fetch && bun install。可通过 grep 检查页面中的内容容器,再用 head 或 wc -l 验证选择器效果。

适用场景:读取技术文档、MDN、GitHub 文档、通用文章页等。

限制:客户端渲染内容(HTML 只有 Loading 占位)无法用 curl 或该 Bun 脚本提取,需改用基于浏览器的工具;选择器不匹配会导致空输出,需调整;资料未说明其他平台支持或收费情况。