SuperAPI AI 工具集

web-browse

通用与其它

查看项目

更新于 10-16 09:17

技能介绍

Web Browse 是一个用于抓取网页并提取可读文本内容的技能。它基于命令行工具 curl 与 Python,通过管道组合完成抓取与解析,适合在终端或脚本环境中快速获取网页信息。

用途:该技能主要用于获取网页内容,并将 HTML 转换为便于阅读或后续处理的纯文本。

主要能力:

  1. 快速抓取原始 HTML:使用 curl -sL "https://example.com" | head -200 可拉取页面原始 HTML 并截取前 200 行查看。
  2. 用 Python 提取文本:通过管道将 HTML 交给 Python 脚本,先用正则移除 script 与 style 标签内容,再移除其余标签,进行 HTML 实体反转义,压缩空白并去除首尾空格,最后输出前 8000 个字符的文本。
  3. 获取页面标题与元信息:使用 Python 正则从 HTML 中提取 title 标签内容与 name="description" 的 meta 描述,若不存在则输出 N/A。
  4. 下载文件:使用 curl -sL -o /tmp/file.pdf "https://example.com/report.pdf" 可将文件保存到本地指定路径。

使用方式:以上操作均通过命令行完成,curl 负责发起请求,Python 通过标准输入接收 HTML 并执行解析逻辑。使用 -L 参数可跟随重定向。

适用场景:适合需要快速查看网页原文、提取网页正文文本、获取页面标题与描述,或下载网页上链接文件的场景,例如在终端环境或自动化脚本中进行轻量级网页内容获取。

限制与注意事项:使用时应遵守 robots.txt,避免过度抓取。对于大量依赖 JavaScript 渲染的网站,该技能可能无法获取完整内容,此时建议考虑使用 browser 技能。