SuperAPI AI 工具集

firecrawl

通用与其它

查看项目

更新于 10-16 01:27

技能介绍

用途:把网页抓取为干净 Markdown,用于检索、研究、文档处理与智能体数据采集。相比 WebFetch,官方资料称其 Markdown 更干净、能处理 JS 重的页面、内容截断更少。

主要能力:scrape(单页转 Markdown)、crawl(整站爬取并显示进度)、map(发现站点全部 URL)、search(网页搜索,可选同时抓取)、parse(解析本地 PDF/DOCX/DOC/XLSX/XLS/HTML/ODT/RTF,最大 50MB)、extract(LLM 结构化抽取)、agent(无需给定 URL 的自主检索)、batch-scrape(并发批量抓取)、interact(抓取后浏览器交互,如点击、填表、登录)。PDF 解析默认使用 Fire-PDF,支持 --pdf-mode fast/auto/ocr 与 --pdf-max-pages。

使用方式:无密钥模式(v2.11.0+)下 Search、Scrape、Parse、Interact 可免 API Key、按 IP 每日限流;Crawl、Map、Batch Scrape、Agent、Extract、Monitor 需要 API Key。快速上手:firecrawl scrape https://example.com --only-main-content、firecrawl search "query" --limit 10。完整安装:npx -y firecrawl-cli@latest init --all --browser,或 npm install -g firecrawl-cli@latest 后 firecrawl login --api-key $FIRECRAWL_API_KEY。Python 脚本路径为 ~/.claude/skills/firecrawl/scripts/firecrawl_api.py,需 pip install firecrawl-py requests。另含 filter_web_results.py 用于按章节/关键字段压缩上下文,支持 --sections、--keywords、--max-chars、--fields 等;deepwiki.sh 可生成公开 GitHub 仓库的 AI wiki;jina 作为回退,可用于 Twitter/X 链接。

适用场景:单页文档抓取、文档站爬取、本地文档转 Markdown、竞品与定价调研、智能体自主检索、抓取后表单交互与登录会话复用(--profile)。

限制:无密钥模式有按 IP 的每日请求与额度上限,具体数值未公布(低于 1000 信用/天),注册免费 API Key 可得 1000 信用;结果默认缓存 2 天,可用 --max-age 0 强制刷新;Interact 不返回页面 Markdown,需用代码模式提取或再次抓取;Firecrawl 不支持 Twitter/X,需改用 Jina;interact 的持续会话、profile、取消等具体计费与配额细节资料未完全给出。付费价格、平台与效果数据暂未提供。