用途：Crawl4AI 用于抓取网站、提取结构化数据、处理需要 JavaScript 渲染的页面，以及批量爬取多个 URL，并常将网页内容转换为整洁的 Markdown。
主要能力：支持 CLI（crwl）与 Python SDK；抓取结果包含 markdown、html、links、media，以及配置提取后的 extracted_content。支持浏览器配置（无头模式、视口、user_agent、代理）、爬取配置（page_timeout、wait_for、cache_mode、js_code、css_selector）、内容过滤（如基于 BM25 生成更聚焦的 markdown）、结构化提取（基于 schema 的 CSS 提取与基于 LLM 的提取）、动态内容等待、多 URL 处理、会话与登录复用、反检测与代理。
必要用法：安装执行 pip install crawl4ai、crawl4ai-setup，验证用 crawl4ai-doctor。CLI 基本抓取如 crwl https://example.com；输出 Markdown 用 crwl https://example.com -o markdown；JSON 并绕过缓存用 crwl https://example.com -o json -v --bypass-cache。SDK 示例：from crawl4ai import AsyncWebCrawler，配合 async with AsyncWebCrawler() as crawler 调用 await crawler.arun("https://example.com")。批量可用 await crawler.arun_many(urls, config=config)。
适用场景：文档转 Markdown、电商商品监控、新闻聚合、交互式问答、受保护页面访问等。
限制：资料未提供收费、价格与平台支持等具体信息；使用 LLM 提取或生成 schema 时需配置 provider、instruction、api_token。建议遵循目标站点速率限制，并为 JS 密集型站点设置更长超时。