SuperAPI AI 工具集

web-fetch-cce

智能体与模型

查看项目

更新于 10-16 00:02

技能介绍

用途:在搜索拿到 URL 后,把网页内容提取为 Claude 可读的格式,覆盖读取网页、爬取页面、提取文章正文、处理 JS 渲染页面和绕过反爬限制等场景。

工具选择分三层。WebFetch 为内置工具,适用于静态页面、文档和博客,将 HTML 转为 Markdown,速度 <1s、零依赖,覆盖约 90% 页面,优先使用。Crawl4AI 适用于 JS 渲染、反爬与结构化提取,将 Playwright 结果转为 Markdown 或 JSON,速度 2-4s,Markdown 质量好,magic=True 可解微信。原生 Playwright 为兜底方案,在 Crawl4AI 超时(如阮一峰站点)或被检测时使用,手动控制 wait_until 策略,输出 inner_text 纯文本,速度 1-5s,灵活性高。

依赖与安装:WebFetch 内置,零磁盘占用,非必需。Crawl4AI 需 Python 环境和对应依赖,约 300MB 磁盘,非必需。使用前按 conda、uv、python3 顺序检测,任一满足即可跳过安装;都无则优先装 Miniconda,备选 uv。安装命令示例:conda create -n crawl4ai python=3.13 -y && conda activate crawl4ai,随后 pip install -i https://mirrors.cloud.tencent.com/pypi/simple/ crawl4ai(或阿里云镜像),再执行 playwright install chromium;uv 与 venv 方案命令类似。

限制与说明:具体超时、被检测等触发条件依实测而定,官方未提供统一阈值;references/crawl4ai.md 与 references/playwright.md 为参考文档。

分类:属于智能体与模型工具调用技能。