用途
Browser Content Capture 旨在提取需要浏览器级别访问的网络内容,弥补传统抓取工具的不足。它适用于以下场景:
- JavaScript 渲染的单页应用(如 React、Vue、Angular 构建的页面)
- 需要登录才能访问的文档(私有 wiki、受权限控制的内容)
- 动态内容(无限滚动、懒加载、客户端路由)
- 多页站点爬取(文档树、教程系列)
主要能力
该技能基于 Playwright MCP 工具或 Claude Chrome 扩展,提供以下核心操作:
browser_navigate:导航到指定 URLbrowser_snapshot:获取 DOM 或可访问性树,用于理解页面结构browser_evaluate:执行自定义 JavaScript 以提取特定内容browser_click:点击元素,用于菜单导航或分页browser_fill_form:填写表单,支持登录流程browser_wait_for:等待选择器出现,处理动态内容加载browser_take_screenshot:截图,用于视觉验证browser_console_messages:读取 JS 控制台,调试提取问题browser_network_requests:监控 XHR/fetch 请求,发现 API 端点
技能还提供了针对不同场景的捕获模式,如 SPA 内容提取、认证流程、多页爬取,并支持将捕获内容发送至 RAG 系统或知识库。
使用方式
基本捕获流程包括:导航到 URL、等待内容渲染、获取页面快照、提取文本内容。具体步骤示例如下:
# 1. 导航到 URL
mcp__playwright__browser_navigate(url="https://docs.example.com")
# 2. 等待内容渲染
mcp__playwright__browser_wait_for(selector=".main-content", timeout=5000)
# 3. 捕获页面快照
snapshot = mcp__playwright__browser_snapshot()
# 4. 提取文本内容
content = mcp__playwright__browser_evaluate(
script="document.querySelector('.main-content').innerText"
)
该技能建议采用回退策略:优先尝试 WebFetch(速度快、无需浏览器),若返回空或部分内容,再根据 URL 模式选择 Playwright MCP 或 Chrome 扩展(用于需要用户会话的登录场景)。
适用场景
- 从客户端渲染的文档站点(如 React 官方文档)提取内容
- 捕获私有 Notion 文档或其他需登录的团队资料
- 爬取多页教程系列并批量导入知识库
- 与 RAG 系统集成,将捕获内容送入向量数据库
限制
- 需要安装 Playwright MCP 服务器或 Claude Chrome 扩展
- 对于静态 HTML 页面,建议使用 WebFetch 以提高效率
- 遇到 CAPTCHA 时需人工干预
- 捕获 iframe 内内容需通过
browser_evaluate特殊处理 - 应遵守 robots.txt 和服务条款,并控制爬取速率
- 技能版本为 1.1.0(2025年12月),具体收费、价格等信息暂未提供