用途
Web Scraper 用于从网站提取结构化数据，借助 BeautifulSoup 和 requests，把任意网页转换为可用数据。文档给出的典型用途包括：竞品研究（抓取定价、功能、定位）、线索生成（从目录中提取联系信息）、内容审计（提取标题、链接、元数据）、价格监控（追踪竞品价格变化）、数据收集（从多个来源收集研究数据）。
主要能力
该技能提供以下命令行能力：
- 抓取元素：
python scripts/main.py scrape https://example.com --selector "h1,h2,p"，也可用.product-price这类选择器。 - 提取链接：
python scripts/main.py links https://example.com，支持--internal-only仅提取内部链接。 - 提取邮箱：
python scripts/main.py emails https://example.com，支持--depth 2指定深度。 - 提取结构化数据：
python scripts/main.py structured https://example.com/article --schema article，也支持--schema product。
文档还附有 CSS 选择器参考，包括 tag（如 h1, p, div）、.class（如 .price, .title）、#id（如 #main-content）、tag.class（如 div.product）、tag[attr]（如 a[href]）、parent > child（如 ul > li）、tag1, tag2（如 h1, h2, h3）。
使用方式
先安装依赖：pip install beautifulsoup4 requests pandas click lxml。随后按上述子命令调用脚本。示例输出包括：抓取竞品定价时提取 6 个元素（如 Starter - $29/mo、Pro - $99/mo、Enterprise - Contact us）；提取文章内容时输出 article_data.json，字段含 title、author、date、content、word_count。
适用场景
适用于竞品定价与功能研究、从目录提取联系信息、内容与链接审计、竞品价格变动追踪、跨来源研究数据汇总等。文档还提到相关技能 competitor-monitor（监控竞品变化）与 pdf-extractor（从 PDF 提取）。
限制与边界
文档明确列出该技能的边界：它能很好地完成结构化策略分析、识别市场机会、创建策略框架、综合竞品数据；但它不能替代市场研究、不能保证策略成功、不掌握竞品专有信息、不能做高管决策。
文档还给出合乎道德的抓取准则：检查 robots.txt、尊重站点抓取政策；进行速率限制（1-2 请求/秒）以免过载；使用可识别的 User-Agent；缓存请求，避免重复抓取未变页面；检查服务条款是否允许抓取。
技能元数据：模式 centaur，难度 intermediate，预计节省时间 5+ 小时/周。