用途:从网页中获取并提取数据,属于网页抓取与数据提取类技能。
主要能力:
- 用 curl 抓取页面,支持保存到文件、自定义 User-Agent、输出响应头、仅获取 HTTP 头。
- 用 Python 标准库 html.parser 提取页面中的链接。
- 提取正文文本,并跳过 script 与 style 内容。
- 解析表格结构数据,并以 CSV 形式输出。
- 下载文件,支持保留远端文件名、指定输出名、断点续传。
- 翻页抓取,按页码循环获取并合并内容,遇到无结果或下一页链接时停止。
- 解析 JSON-LD 结构化数据块,以及 Open Graph 等 meta 标签。
使用方式:先通过 curl 将目标页面保存为本地 HTML 文件,再用 Python 脚本读取该文件并解析。示例命令包括:curl -sL -o page.html "https://example.com";curl -sL -A "Mozilla/5.0 (compatible; bot/1.0)" "https://example.com";curl -sL -D headers.txt -o page.html "https://example.com";curl -sI "https://example.com";curl -sLOJ "https://example.com/file.zip";curl -sL -C - -o largefile.zip "https://example.com/largefile.zip"。解析脚本使用 python3 -c 内联执行,依赖标准库,无需额外安装。
适用场景:需要从公开网页采集链接、正文、表格、结构化数据或下载文件时使用,也可用于简单的分页列表抓取。
限制:资料未提供对 JavaScript 渲染页面的处理方式、反爬绕过、代理、并发、频率控制或法律合规说明;解析基于 HTML 结构,页面结构变化可能导致提取失败;翻页示例仅演示固定页码范围与简单停止条件,实际使用需根据目标站点调整。