firecrawl-2

用途

Firecrawl Web Skill 用于抓取、搜索和爬取网页，基于 Firecrawl API 实现。它适合需要把网页内容转为可处理文本、批量采集站点数据或了解站点结构的场景。

主要能力

• 网页转 Markdown：抓取任意 URL 并转换为干净的 Markdown，可处理 JavaScript 渲染的内容，并支持 --main-only 跳过导航和页脚。
• 网页截图：对任意 URL 进行整页截图并保存为图片文件。
• 结构化数据提取：通过 JSON Schema 从页面中提取指定字段，可附加提示词辅助提取。
• 网页搜索：搜索网络并获取结果内容（可能需要付费套餐）。
• 爬取文档站点：爬取整个文档站点，适合学习新框架。
• 站点 URL 映射：在决定抓取哪些页面之前，先发现网站上的所有 URL，支持按关键词搜索过滤。

使用方式

1. 从 firecrawl.dev/app/api-keys 获取 API Key。
2. 设置环境变量：

export FIRECRAWL_API_KEY=fc-your-key-here

1. 安装 SDK：

pip3 install firecrawl

1. 所有命令均使用该技能目录下自带的 fc.py 脚本。

获取页面为 Markdown

python3 fc.py markdown "https://example.com"
python3 fc.py markdown "https://example.com" --main-only  # skip nav/footer

截图

python3 fc.py screenshot "https://example.com" -o screenshot.png

提取结构化数据

Schema 示例（schema.json）：

{
  "type": "object",
  "properties": {
    "title": { "type": "string" },
    "price": { "type": "number" },
    "features": { "type": "array", "items": { "type": "string" } }
  }
}

python3 fc.py extract "https://example.com/product" --schema schema.json
python3 fc.py extract "https://example.com/product" --schema schema.json --prompt "Extract the main product details"

网页搜索

python3 fc.py search "Python 3.13 new features" --limit 5

爬取文档

python3 fc.py crawl "https://docs.example.com" --limit 30
python3 fc.py crawl "https://docs.example.com" --limit 50 --output ./docs

注意：每个页面消耗 1 积分，请设置合理的限制。

映射站点 URL

python3 fc.py map "https://example.com" --limit 100
python3 fc.py map "https://example.com" --search "api"

适用场景

• 抓取博客文章并生成摘要。
• 对指定网站进行整页截图。
• 从产品页面提取名称、价格和功能等字段。
• 爬取框架文档以辅助开发。
• 在抓取前先映射站点全部 URL。

限制

• 需要 Firecrawl API Key 才能使用。
• 网页搜索功能可能需要付费套餐。
• 爬取时每个页面消耗 1 积分，免费额度为 500 积分，1 积分对应 1 个页面、截图或搜索查询。
• 其他平台支持、价格细节暂未提供。