用途:从无신사、네이버价格比较、쿠팡三个来源采集男性时尚关键词的商品列表数据,统一为同一套规范模式后入库,供课程使用。
主要能力:按 site-field-map.md 中的来源 URL 模式与字段抽取规则,用 Bright Data 工具(scrape_as_markdown 系列)抓取列表页并抽取字段;生成固定列序的 collected_products.csv;用脚本校验后写入 collected_products 表,并报告各来源入库数量。正规模式含 source、keyword、rank、brand、name、price、discount_rate、rating、review_count、purchase_count、is_ad、product_url、collected_at。来源缺失的字段留空(如 쿠팡的 rating);广告商品标 is_ad=true 保留;product_url 去掉查询参数。
使用方式:先向用户确认关键词(如 남성셔츠)与来源(默认三源);按规则抓取;生成 CSV;运行 python3 scripts/validate_csv.py collected_products.csv 校验;展示各来源数量、5 行样本与校验结果,获用户确认后再按 references/schema.sql 入库并核对数量。
限制:仅采集公开页面聚合数值,不采集评论正文与作者名等著作权或个人信息性数据;每关键词限 1~2 页、每来源前 50 条以内,不得重复大批量请求;仅限教学用途,不得商业再分发。11번가、29cm 为全 JS 渲染,无法用此方式采集(实测 2026-07-26),不要尝试。不得随意增改列名,需扩展先问用户;采集失败或结构变动需如实报告并确认是否仅用成功来源继续;原始 Markdown 仅作临时文件,不得放入仓库或数据库。