Web Fetch 是一个用于抓取网页并提取可读内容的技能,定位为轻量级页面访问,明确说明不需要浏览器自动化。
用途 该技能用于从网页中获取内容,并提取出可读的正文。适合在不需要完整浏览器渲染的情况下访问页面。
主要能力
- 使用 curl 发起 HTTP 请求,资料注明超时为 10 秒。
- 提取网页标题和基础文本内容。
- 移除 HTML 标签和脚本。
- 可处理任何标准网页。
- 除 curl 外无外部依赖。
使用方式 脚本位于该技能的基础目录下。当在 <available_skills> 中看到该技能时,需要记下 <base_dir> 路径。
通用调用格式:
bash "<base_dir>/scripts/fetch.sh" <url> [output_file]
示例(需将 <base_dir> 替换为技能列表中给出的实际路径):
bash "~/chatgpt-on-wechat/skills/web-fetch/scripts/fetch.sh" "https://example.com"
参数说明:
- url:要抓取的 HTTP/HTTPS URL,必填。
- output_file:可选,用于保存输出的文件;默认输出到标准输出。
返回内容: 提取出的页面内容,包含标题和文本。
示例:
抓取一个网页:
bash "<base_dir>/scripts/fetch.sh" "https://example.com"
保存到文件:
bash "<base_dir>/scripts/fetch.sh" "https://example.com" output.txt cat output.txt
适用场景 资料说明该技能用于轻量级页面访问,适用于需要抓取网页并提取可读内容、且不需要浏览器自动化的情形。可处理任何标准网页。
限制 资料未说明除上述内容之外的其他限制。需要注意该技能仅提供基础文本提取能力,依赖 curl,超时为 10 秒。关于计费、平台支持范围、内容渲染效果等细节暂未提供。