SuperAPI AI 工具集

web-scraping

编程与开发

查看项目

更新于 10-16 06:43

技能介绍

用途:从网页中获取并提取数据,属于网页抓取与数据提取类技能。

主要能力:

  1. 用 curl 抓取页面,支持保存到文件、自定义 User-Agent、输出响应头、仅获取 HTTP 头。
  2. 用 Python 标准库 html.parser 提取页面中的链接。
  3. 提取正文文本,并跳过 script 与 style 内容。
  4. 解析表格结构数据,并以 CSV 形式输出。
  5. 下载文件,支持保留远端文件名、指定输出名、断点续传。
  6. 翻页抓取,按页码循环获取并合并内容,遇到无结果或下一页链接时停止。
  7. 解析 JSON-LD 结构化数据块,以及 Open Graph 等 meta 标签。

使用方式:先通过 curl 将目标页面保存为本地 HTML 文件,再用 Python 脚本读取该文件并解析。示例命令包括:curl -sL -o page.html "https://example.com";curl -sL -A "Mozilla/5.0 (compatible; bot/1.0)" "https://example.com";curl -sL -D headers.txt -o page.html "https://example.com";curl -sI "https://example.com";curl -sLOJ "https://example.com/file.zip";curl -sL -C - -o largefile.zip "https://example.com/largefile.zip"。解析脚本使用 python3 -c 内联执行,依赖标准库,无需额外安装。

适用场景:需要从公开网页采集链接、正文、表格、结构化数据或下载文件时使用,也可用于简单的分页列表抓取。

限制:资料未提供对 JavaScript 渲染页面的处理方式、反爬绕过、代理、并发、频率控制或法律合规说明;解析基于 HTML 结构,页面结构变化可能导致提取失败;翻页示例仅演示固定页码范围与简单停止条件,实际使用需根据目标站点调整。