SuperAPI AI 工具集

web-fetch

通用与其它

查看项目

更新于 10-16 01:56

技能介绍

Web Fetch 是一个用于抓取网页并提取可读内容的技能,定位为轻量级页面访问,明确说明不需要浏览器自动化。

用途 该技能用于从网页中获取内容,并提取出可读的正文。适合在不需要完整浏览器渲染的情况下访问页面。

主要能力

  • 使用 curl 发起 HTTP 请求,资料注明超时为 10 秒。
  • 提取网页标题和基础文本内容。
  • 移除 HTML 标签和脚本。
  • 可处理任何标准网页。
  • 除 curl 外无外部依赖。

使用方式 脚本位于该技能的基础目录下。当在 <available_skills> 中看到该技能时,需要记下 <base_dir> 路径。

通用调用格式:

bash "<base_dir>/scripts/fetch.sh" <url> [output_file]

示例(需将 <base_dir> 替换为技能列表中给出的实际路径):

bash "~/chatgpt-on-wechat/skills/web-fetch/scripts/fetch.sh" "https://example.com"

参数说明:

  • url:要抓取的 HTTP/HTTPS URL,必填。
  • output_file:可选,用于保存输出的文件;默认输出到标准输出。

返回内容: 提取出的页面内容,包含标题和文本。

示例:

抓取一个网页:

bash "<base_dir>/scripts/fetch.sh" "https://example.com"

保存到文件:

bash "<base_dir>/scripts/fetch.sh" "https://example.com" output.txt cat output.txt

适用场景 资料说明该技能用于轻量级页面访问,适用于需要抓取网页并提取可读内容、且不需要浏览器自动化的情形。可处理任何标准网页。

限制 资料未说明除上述内容之外的其他限制。需要注意该技能仅提供基础文本提取能力,依赖 curl,超时为 10 秒。关于计费、平台支持范围、内容渲染效果等细节暂未提供。