用途：Web Scraper 是基于 Crawl4AI 的网页抓取技能，面向 AI Agent 与 LLM 场景，用于读取文章、抓取网页、批量收集新闻或行业资讯，并可作为深度调研流程的内容获取层。
主要能力：采用 Playwright Chromium 真实浏览器渲染，支持 JavaScript 动态页面、无限滚动与 SPA；内置 stealth 模式、随机 User-Agent、代理与 Session 管理等多层反爬机制；通过 PruningContentFilter 自动去除噪声内容，DefaultMarkdownGenerator 输出干净 Markdown；使用 MemoryAdaptiveDispatcher 按系统资源自动调整并发，支持流式处理。
使用方式：安装命令为 pip install crawl4ai，随后运行 crawl4ai-setup 安装 Playwright 浏览器依赖。核心接口为 AsyncWebCrawler 的 arun 与 arun_many，可传入 CrawlerRunConfig 配置缓存模式、内容过滤、等待策略等。输出字段包括 result.markdown.raw_markdown、result.markdown.fit_markdown、result.extracted_content、result.success、result.url、result.error_message。另提供 CLI 工具 crwl，例如 crwl https://example.com -o markdown。
适用场景：新闻网站、博客、技术文章与文档抓取；React/Vue/SPA 等动态加载页面；反爬严格的网站；批量抓取搜索结果；需要完整 JavaScript 渲染的页面。
限制：资料未提供具体收费与价格信息，仅说明无需 API Key、Apache-2.0 开源；crawl4ai-setup 需手动运行一次以安装浏览器；实际抓取效果、速度与反爬成功率受目标网站与运行环境影响，资料未提供更多保证。