用途：Crawl4AI 用于抓取网站、提取结构化数据、处理 JavaScript 较重的页面、批量抓取多个 URL，并可构建自动化抓取流程。它同时提供 CLI（crwl，适合快速任务）与 Python SDK（适合程序化控制）两种接口。
安装与校验：pip install crawl4ai 后运行 crawl4ai-setup；可用 crawl4ai-doctor 验证安装。
主要能力：每次抓取返回 markdown、html、links（内部与外部链接）、media（图片、视频、音频）以及配置提取策略后的 extracted_content。Markdown 生成是核心用途，可用内容过滤器（如 BM25 相关度过滤）输出更精炼的 markdown-fit。配置分为浏览器设置、抓取设置、提取与内容过滤几层，CLI 与 SDK 共享同一套底层配置。
使用方式：CLI 基础命令为 crwl https://example.com，可用 -o markdown、-o json、-o all 等控制输出，-v 显示详细、--bypass-cache 绕过缓存，crwl --example 查看示例。SDK 通过 AsyncWebCrawler 的 arun() 单页抓取、arun_many() 并发多页。提取分两类：基于 Schema 的 CSS 提取无需 LLM，快速、确定且无成本；LLM 提取适合复杂或不规则内容。动态页面可用 wait_for、scan_full_page、page_timeout 等参数等待 JS 内容；会话与登录可用 session_id 配 js_code 复用会话访问受保护内容；反检测与代理可配置 proxy_config、user_agent_mode 等。常见场景包括文档转 Markdown、电商商品监控、新闻聚合与交互式问答。
限制与注意事项：资料建议开发阶段启用缓存，仅在需要时使用 --bypass-cache；普通页面超时设 30 秒，JS 较重的站点设 60 秒以上；注意遵守目标站点的请求频率限制，在请求间加入延迟。关于具体收费、价格、平台支持范围与效果，资料暂未提供。