Firecrawl Web Scraper Skill 是一个基于 Firecrawl API v2 的技能，用于将网站转换为适合大语言模型（LLM）使用的 Markdown 或结构化数据。官方文档为 https://docs.firecrawl.dev，SDK 版本要求 firecrawl-py 4.13.0+ 或 @mendable/firecrawl-js 4.11.1+。
用途 Firecrawl 是一个面向 AI 的 Web 数据 API，主要解决网页内容获取与转换问题，包括：JavaScript 渲染（执行客户端 JS 以捕获动态内容）、反爬绕过（绕过 CAPTCHA 和机器人检测）、格式转换（输出 Markdown、HTML、JSON、截图、摘要）、文档解析（处理 PDF、DOCX 和图片）、自主智能体（无需 URL 的 AI 网页数据收集）、变更追踪（监控内容随时间的变化）、品牌信息提取（提取配色方案、字体、Logo）。
主要能力（API 端点）
- /scrape：抓取单个网页，返回干净的结构化内容。支持多种输出格式：markdown、html、rawHtml、screenshot、links、json、summary、branding、changeTracking。高级选项包括 only_main_content、remove_base64_images、wait_for、timeout、location、max_age、store_in_cache、stealth、headers。支持浏览器操作（click、wait、scroll、write、press、screenshot）。支持 JSON 模式结构化提取（可带 schema 或仅 prompt）。支持品牌信息提取。
- /crawl：从起始 URL 爬取所有可访问页面。参数包括 limit、max_depth、allowed_domains、exclude_paths、scrape_options。支持异步爬取与 Webhook。
- /map：快速发现网站上的所有 URL，不抓取内容。用于站点地图发现、爬取规划、网站审计。
- /search：执行网络搜索并可选择抓取结果。支持 limit、sources（web、news、images）、categories（github、research、pdf）、location、tbs 时间过滤、timeout。成本为每 10 条结果 2 积分，若启用抓取则另计。
- /extract：AI 驱动的结构化数据提取，支持单页、多页或整个域名。可使用 Pydantic 模型定义 schema，支持 system_prompt、enable_web_search，也可仅用 prompt 由 LLM 决定输出结构。
- /agent：自主网页数据收集，无需指定 URL，通过自然语言提示让智能体搜索、导航并收集数据。支持 schema 结构化输出、指定 urls、选择模型（spark-1-mini 默认，spark-1-pro 用于复杂分析，成本高 60%）。支持异步。注意：Agent 处于 Research Preview，每日 5 次免费请求，之后按积分计费。
- /batch-scrape：在单次操作中高效处理多个 URL。支持同步和异步（带 Webhook，事件包括 started、page、completed、failed）。
- 变更追踪：通过比较抓取结果监控内容变化。支持 diff 模式（默认，逐行变化）和 json 模式（结构化比较，每页 5 积分）。变更状态包括 new、same、changed、removed。
使用方式 需要 API 密钥，从 https://www.firecrawl.dev/app 获取，存储在环境变量 FIRECRAWL_API_KEY 中，密钥以 fc- 开头，切勿硬编码。Python 示例：from firecrawl import Firecrawl; app = Firecrawl(api_key=os.environ.get("FIRECRAWL_API_KEY")); doc = app.scrape(url="https://example.com/article", formats=["markdown", "html"], only_main_content=True)。JavaScript 示例：import FirecrawlApp from '@mendable/firecrawl-js'; const app = new FirecrawlApp({ apiKey: process.env.FIRECRAWL_API_KEY }); const result = await app.scrapeUrl('https://example.com/article', { formats: ['markdown', 'html'], onlyMainContent: true });。Cloudflare Workers 无法运行 Firecrawl SDK（需要 Node.js），需直接使用 REST API（https://api.firecrawl.dev/v2/scrape）。
适用场景
- 将文章、产品页等单页内容转为 LLM 可读数据
- 索引文档站点、归档网站
- 发现网站所有页面、规划爬取策略
- 结合实时数据进行研究
- 提取产品价格、联系方式等结构化数据
- 无需 URL 的自主数据收集
- 批量处理多个 URL
- 监控定价页等内容变化
限制与注意事项
- 定价层级：Free 500 积分/月，Hobby 3000 积分/月（$19/月），Standard 100000 积分/月（$99/月），Growth 500000 积分/月（$399/月）。积分成本：Scrape 1 积分（基础）、5 积分（stealth）；Crawl 每页 1 积分；Search 每 10 条结果 2 积分；Extract 每页 5 积分；Agent 按复杂度动态计费；变更追踪 JSON 模式 +5 积分。
- Stealth 模式定价变更（2025 年 5 月）：主动使用 stealth 模式每请求 5 积分。默认 auto 模式仅在基础失败时才收取 stealth 积分。
- 统一计费（2025 年 11 月）：积分与 token 合并为单一系统，Extract 端点使用积分（15 token = 1 积分）。
- v2.0.0 破坏性变更：方法重命名（如 scrape_url → scrape、crawl_url → crawl/start_crawl、scrapeUrl → scrape、crawlUrl → crawl/startCrawl、asyncCrawlUrl → startCrawl、checkCrawlStatus → getCrawlStatus）；格式变更（旧 "extract" 格式改为 "json"，截图格式改为对象）；爬取参数变更（allowBackwardCrawling → crawlEntireDomain，maxDepth → maxDiscoveryDepth，ignoreSitemap → sitemap）。
- 常见问题：空内容（JS 未加载，可加 wait_for 或 actions）、超出速率限制、超时、机器人检测（可用 stealth、location）、无效 API 密钥（必须以 fc- 开头）。
- 该技能声称可预防 10 个已记录问题，包括 stealth 定价变更、v2.0.0 方法重命名、格式变更、爬取选项变更等。
以上信息均来自提供的资料，未提供的功能、收费细节或平台支持情况暂未提供。