用途:从任意电商分类页、搜索结果页或带筛选的关键词搜索页中,提取结构化商品列表,支持价格、品牌、评分筛选和多页翻页。
主要能力:返回分页商品数组,每项含 URL、名称、价格、货币、图片、评分、评论数等字段;可获取下一页 URL 实现翻页;支持按关键词加筛选条件构造搜索 URL。
使用方式:需目标浏览器已打开并连接,公开列表页无需登录。先导航到列表或搜索页,再执行 eval "$(python scripts/extract-listing.py --max-results 20)" 提取当前页;用 eval "$(python scripts/extract-listing-next-page.py)" 获取下一页 URL,has_next 为 false 时翻页结束。关键词搜索需先按站点规则构造带筛选的 URL(如 Amazon 的 s、rh 参数,eBay 的 _nkw、_udlo、_udhi、_sop,Walmart 的 q、min_price、max_price、sort,Google Shopping 的 tbm=shop、tbs),再导航并提取。对含“加载更多”按钮的站点,可点击按钮后重新提取。
适用场景:电商商品调研、比价、选品、竞品价格与评分采集等。
限制:Amazon 新会话直接导航可能触发机器人检测,建议先从 https://www.amazon.com 进入;eBay 列表页可能需先从 https://www.ebay.com 进入;Google Shopping 为复杂 SPA,准确率可能下降;筛选 URL 参数因站点而异,部分站点会静默忽略不支持的参数;Shopify 主题差异大,通用 DOM 策略可能漏项,可检查页面源码中的 JSON-LD ItemList 或 Product 数组。执行前若存在经验记录文件应先读取,执行后如遇异常可追加记录。