web-research-workflow

用途

Web Research Workflow 面向网页内容研究与竞争情报监控场景，提供一套统一的工具选择决策流程，解决“用哪个工具抓取网页最合适”的问题。它根据目标站点的实际特征自动在三类工具之间切换。

主要能力

三层决策树

整个流程以 URL 为起点逐层递进：

1. WebFetch（首选）：始终先尝试，速度快、免费、无额外开销。抓取成功即解析并返回。
2. Tavily（中间层）：当 WebFetch 返回空、部分内容或少于 500 字符时，且已设置 TAVILY_API_KEY，则使用 Tavily 的 search / extract / crawl / research 能力。Tavily 返回原始 markdown 内容，支持批量 URL 提取，并提供带相关性评分的语义搜索。
3. agent-browser（最后手段）：当内容为 JS 渲染或需要认证时，回退到完整浏览器方案。

如果未设置 TAVILY_API_KEY，三层结构会自动塌缩为两层（WebFetch → agent-browser）。

浏览器使用模式

针对需要 JavaScript 渲染、身份认证或多页爬取的内容，回退到 agent-browser，并按场景采取不同模式：

• SPA（react/vue/angular）：使用 wait --load networkidle
• 需要登录：走认证流程并保存状态
• 动态内容：使用 wait --text "Expected"
• 多页面：采用爬取模式

竞争监控

跟踪竞争对手网站在定价、功能、定位和内容上的变化，包含快照捕获、结构化数据提取和变更分类。

变更分类

按严重程度划分并对应不同处理动作：

• Critical（严重）：价格涨跌、重大功能变更 —— 立即告警
• High（高）：新增功能、移除功能 —— 需要审查
• Medium（中）：文案变化、定位调整 —— 记录供分析
• Low（低）：拼写错误、次要样式 —— 仅记录日志

使用方式

技能本身通过决策树自动选择工具，无需手动指定。相关细节从规则与参考文件中按需加载：

• Read("rules/tool-selection.md")：何时使用何种工具的对照表、升级启发式、SPA 检测模式与成本意识。
• Read("references/tavily-api.md")：Search、Extract、Map、Crawl、Research 各端点的示例与选项。
• Read("rules/browser-patterns.md")：自动回退、认证流程、多页研究模式、最佳实践与故障排查。
• Read("rules/monitoring-competitor.md")：快照捕获、结构化数据提取与变更分类。
• Read("rules/monitoring-change-detection.md")：差异检测、结构化对比、Tavily 站点发现与 CI 自动化。

集成与相关技能

本技能被以下 agent 使用：web-research-analyst（主要使用者）、market-intelligence（竞品研究）、product-strategist（深度竞争分析）。

相关技能：browser-content-capture（详细浏览器模式）、agent-browser（CLI 参考）。

版本：1.3.0（2026 年 3 月）。