SuperAPI AI 工具集

web-scraping

编程与开发

查看项目

更新于 10-16 03:37

技能介绍

用途:从网页中提取结构化数据,适合把商品名称、价格、链接等字段批量整理为 JSON 或 CSV。

主要能力:抓取指定 URL 的 HTML 内容;解析并提取特定元素(表格、列表、文本);处理分页;以 JSON 或 CSV 格式输出。

支持的定位方式:CSS 选择器(.class、#id、tag);XPath 表达式;文本模式(正则)。

使用方式:提供目标 URL,选择 CSS 选择器或 XPath 指定要提取的元素,按需处理分页,并指定输出格式为 JSON 或 CSV。

限速要求:始终遵守 robots.txt,并在请求之间加入延迟。默认请求间隔为 1 秒。

示例:从 example.com/products 抓取商品名称和价格,以 JSON 输出字段 name、price、url。

限制:资料未提供具体安装命令、依赖环境、并发上限、错误重试、反爬应对或代理配置等信息,暂未提供。