Web Scraper 是一个用于构建网页抓取系统的多智能体协作流水线。它面向“构建网页抓取程序”“开发爬虫”这类需求,由多个智能体分工完成目标站点分析、爬虫设计、解析、存储与监控等环节。
用途与组成 该技能采用 Agent Team 执行模式,五个智能体直接通过 SendMessage 通信并进行交叉验证。成员包括:target-analyst(目标站点分析与风险评估)、crawler-developer(爬虫架构与实现)、parser-engineer(解析逻辑设计与实现)、data-manager(数据存储、校验与导出)、monitor-operator(监控、告警与调度)。各智能体的定义文件位于 .claude/agents/ 目录下。
工作流程 第一阶段为准备,由编排者直接执行:从用户输入中提取目标站点 URL、目标数据、用途(分析/监控/归档)、规模(数据量与采集频率)及可选约束(技术栈、预算、法律要求);在项目根目录创建 _workspace/,将输入整理保存为 _workspace/00_input.md,创建 _workspace/src/;若有现成文件可复制到 _workspace/ 并跳过对应阶段;最后根据请求范围确定执行模式。
第二阶段为组队执行,任务依赖如下:任务 1 目标站点分析由 analyst 完成,产出 _workspace/01_target_analysis.md;任务 2a 爬虫设计与实现由 crawler 完成;任务 2b 解析逻辑设计与实现由 parser 完成,两者均只依赖任务 1,因此并行执行;任务 3 数据存储设计由 data-mgr 完成,依赖任务 2b;任务 4 监控配置由 monitor 完成,依赖任务 2a、2b、3。智能体之间的信息流转为:分析完成后向爬虫传递 URL 模式、反爬信息和限速要求,向解析器传递数据点与 DOM 结构;爬虫向解析器传递原始数据格式,向监控传递健康检查点;解析器向数据管理传递数据模式,向监控传递解析指标;数据管理向监控传递数据质量指标;监控整合各组件完成运维配置。
第三阶段为集成与最终交付:检查 _workspace/ 与 _workspace/src/ 中的全部文件,校验跨交付物一致性(分析→爬虫→解析→存储→监控),并向用户呈现最终摘要与执行说明。
执行模式 按请求范围可分为五种模式:全流程(全部 5 个智能体)、仅分析(仅 target-analyst)、仅爬虫(target-analyst + crawler-developer)、仅解析(target-analyst + parser-engineer)、仅监控(仅 monitor-operator)。若用户提供已有的分析结果或爬虫代码,可复制到 _workspace/ 并跳过相应智能体。
数据传递与错误处理 数据通过三种方式传递:设计文档走 _workspace/ 目录(基于文件)、可执行抓取代码走 _workspace/src/(基于代码)、关键信息与反馈走 SendMessage(基于消息)。错误处理策略包括:目标站点不可访问时改用缓存或存档版本并探索替代 URL;robots.txt 全面禁止抓取时检查公开 API 并提出基于 API 的方案;反爬全面拦截时提升难度,提出无头浏览器或 API 替代;动态渲染失败时切换 Playwright 并增加超时;智能体失败时重试一次,仍失败则跳过该交付物继续。
示例场景 常规流程:用户要求“为该电商站点构建每日采集商品价格的爬虫”,预期产出站点结构、分页、反爬机制与 robots.txt 合规方案的分析,基于异步 httpx 并带限速与重试的爬虫,基于 CSS 选择器的价格/标题/URL 提取与校验,带 upsert 去重的 SQLite 存储与 CSV 每日导出,以及 Cron 调度、解析成功率告警和站点变更检测。仅分析流程只部署 target-analyst。错误流程中,面对带 Cloudflare 防护的单页应用,分析智能体识别挑战与渲染问题,爬虫开发者改用 Playwright 并设置等待策略,解析工程师用稳健选择器处理动态 DOM,监控运维设置选择器变更检测。
扩展技能 技能还提供两个附加技能:selector-generator(.claude/skills/selector-generator/skill.md),增强 parser-engineer,用于 CSS/XPath 选择器生成、稳健性评分与变更检测;anti-bot-analyzer(.claude/skills/anti-bot-analyzer/skill.md),增强 target-analyst 与 crawler-developer,用于反爬防御层分析、限速检测与法律风险评估。
限制 该技能依赖 Claude 智能体环境与上述目录结构运行;具体价格、平台支持范围与效果资料暂未提供。