Crawl4AI Skill 是一个网页爬虫与网页爬取工具，主打 LLM 优化输出，支持搜索、全站爬取和动态页面抓取。根据资料，它是一款免费爬虫，无需 API key，开箱即用。
用途 该工具用于从网页中抓取内容并转换为适合大语言模型使用的 Markdown 文本。它覆盖三类典型任务：通过 DuckDuckGo 进行网页搜索、对单个网页进行爬取、以及对整个网站进行递归爬取（spider）。
主要能力
- 网页搜索：内置 DuckDuckGo 搜索，免 API key。
- 网页爬虫：支持站点爬取、spider 以及 sitemap 识别。
- 网页抓取：智能抓取与数据提取。
- LLM 优化输出：提供 fit_markdown 格式，资料称可节省 80% Token。
- 动态页面抓取：支持 JavaScript 渲染页面的爬取。
使用方式 安装命令： pip install crawl4ai-skill
网页搜索： crawl4ai-skill search "python web scraping"
单页爬取： crawl4ai-skill crawl https://example.com
全站爬虫： crawl4ai-skill crawl-site https://docs.python.org --max-pages 50
搜索并爬取： crawl4ai-skill search-and-crawl "Vue 3 best practices" --crawl-top 3
动态页面抓取示例： crawl4ai-skill crawl https://xueqiu.com/S/BIDU --wait-until networkidle --delay 2
命令包括：search <query>（网页搜索）、crawl <url>（单页爬取）、crawl-site <url>（全站爬虫）、search-and-crawl <query>（搜索并爬取）。
常用参数： 搜索：--num-results 10 爬取：--format fit_markdown、--output result.md、--wait-until networkidle、--delay 2、--wait-for ".selector" 爬虫：--max-pages 100、--max-depth 3
输出格式
- fit_markdown（推荐）：智能提取，资料称节省 80% Token。
- raw_markdown：保留完整结构。
适用场景
- 文档站爬虫：例如 crawl4ai-skill crawl-site https://docs.fastapi.com --max-pages 100。资料称爬虫输出会移除导航栏、侧边栏、广告，保留标题、正文、代码块，Token 从 50,000 降至 10,000（-80%）。
- 搜索加爬取：搜索并抓取排名靠前的结果。
- 动态页面抓取：针对 JavaScript 渲染的页面，如雪球、知乎等。
限制 资料未提供关于收费、价格、平台支持范围、抓取频率限制、合规约束或效果保证的更多信息，这些内容暂未提供。