SuperAPI AI 工具集

web-content-fetcher

数据与分析

查看项目

更新于 10-16 01:26

技能介绍

用途:为 Claude Code 抓取和解析 URL 网页内容提供经过验证的专家策略,解决工具体积限制、JavaScript 渲染站点以及从 HTML 中提取干净正文的难题。

已知工具限制:WebFetch 最大约 50KB,提示词过长会报错;Read 单次最大 256KB,大文件需分页;curl 无大小限制但不做解析;Task 智能体无大小限制,可自动处理分页。

四层抓取策略:第一层 WebFetch 直取小内容(<50KB);第二层 curl + Task 智能体为默认推荐,适合任意大小的静态内容,先 mkdir -p output/tasks/YYYYMMDD_taskname/original,再 curl -s "URL" > .../raw_html.html,然后用 Task 智能体读取该 HTML 并提取正文保存为 fetched_content.md;第三层脚本仅用于边界情况(EUC-JP 编码、复杂 HTML),如 node .claude/skills/web-content-fetcher/scripts/extract_article.js raw_html.html > fetched_content.md;第四层 Playwright 用于 JavaScript 渲染站点,如 node .claude/skills/web-content-fetcher/scripts/fetch_js_content.js "URL" --output fetched_content.md。

图像与输出:Playwright 方案会自动提取主内容区图片及 alt 文本,过滤小图标,输出含 Media 段落的 URL 列表。

Playwright 一次性安装:cd .claude/skills/web-content-fetcher;pnpm add -D playwright --save-catalog-name=dev;pnpm exec playwright install chromium。

适用场景:新闻文章、博客、社交平台帖子(Twitter/X、Threads、Instagram)、SPA 页面、翻译与分析流程。

限制与注意事项:需遵循各站点反爬、认证与版权要求;部分站点需加 user agent 或携带 headers/cookies;技能资料未提供收费、价格与平台信息。