SuperAPI AI 工具集

firecrawl-scraping

编程与开发

查看项目

更新于 10-15 20:10

技能介绍

用途:该技能用于抓取单个网页并转换为整洁、适合大模型读取的 Markdown,能处理 JavaScript 渲染、反爬保护与动态内容。按资料说明,整站多页抓取建议改用 Apify Website Content Crawler,单页抓取走本技能。

主要能力:支持多种输出格式,包括 markdown(默认)、html、summary(AI 生成摘要)、screenshot(页面截图)和 links(页面链接)。代理模式有 basic(普通站点、最快)、stealth(应对反爬与付费墙内容,如 WSJ、NYT)、auto(由 Firecrawl 决定,推荐)。

使用方式:需在 .env 中配置 FIRECRAWL_API_KEY=fc-your-api-key-here,密钥可在 https://firecrawl.dev/app/api-keys 获取。基本用法:python scripts/firecrawl_scrape.py "https://example.com/article"。带参数示例:python scripts/firecrawl_scrape.py "https://wsj.com/article" --proxy stealth --format markdown summary --timeout 60000。故障处理中提到的相关参数包括 --js-render、--wait-for 等。

适用场景:抓取文章、博客、文档页面、付费墙内容等公开网页;资料还给出与并行研究、内容生成、CRM 记录补充等技能的集成模式。

限制与安全:仅抓取公开可访问网页,默认遵守 robots.txt,需尊重目标站点服务条款与版权,注意速率限制;stealth 模式仅在必要时使用,不用于绕过登录鉴权,登录页面不受支持。凭据仅存于 .env,不要提交到 git,也不要在输出中打印密钥;API 密钥拥有全部抓取权限,无细粒度权限范围。成本约为每页 1 credit,stealth 代理可能额外消耗。抓取内容会经 Firecrawl 服务器临时处理,Markdown 输出与截图会本地保存在 .tmp/ 目录。其他细节如具体限额与价格暂未提供。