SuperAPI AI 工具集

firecrawl

数据与分析

查看项目

更新于 10-15 17:27

技能介绍

用途:通过 Firecrawl CLI 获取实时网页数据,支持网络搜索、URL 抓取、站点发现、批量爬取、浏览器交互、周期性监控、离线站点下载和本地文档解析。

主要能力与命令选择:无确切 URL 时用 search;已知 URL 用 scrape;已知站点但不知具体页面用 map;需要站点或栏目多页时用 crawl;需要持续变更跟踪用 monitor;需要复杂站点结构化数据且提供 schema 时用 agent;抓取后需点击、表单、登录、分页或会话状态时用 interact;本地文档用 parse;离线站点副本用 x download;research 仅用于 Firecrawl 原生的公开 arXiv 或 GitHub 历史研究。

使用方式:先检查 firecrawl --status;对关键命令或参数用 firecrawl <command> --help 确认。付费命令前可用 scripts/firecrawl-cache-index.mjs 检查 .firecrawl/ 中可复用产物。大输出用 -o 写入 .firecrawl/,避免把大段页面内容流入上下文。URL 与路径需加引号。示例:firecrawl search "query" --scrape --json -o .firecrawl/search-query.json;firecrawl scrape "https://example.com/page" -o .firecrawl/example-page.md;firecrawl parse "./report.pdf" -o .firecrawl/report.md。

成本与范围:search、map、crawl、agent、x download 使用 --limit;优先复用本地新鲜产物;crawl 用 --include-paths、--exclude-paths、--max-depth、--wait 限定范围;agent 用 --max-credits 与 schema;涉及联系页、PDF、用户生成内容或潜在日志/向量库数据时用 --redact-pii。除非用户明确需要,不要爬取整个域名或允许外部链接、子域。

限制与注意:不要运行 firecrawl init、setup skills、setup mcp、launch、make default,除非用户明确要求工作站维护。未经用户明确许可,不要向 Firecrawl 发送私密、机密或含密钥材料。认证/401 用 firecrawl --status 排查;额度/402 或限流应缩小范围或停止报告;失败任务用 firecrawl doctor --json 或 firecrawl doctor <job-id> --query "why did this run fail?"。CLI 帮助与技能描述不一致时,以本地 firecrawl <command> --help 为准。SDK/API 集成、项目密钥配置或产品端点选择不应以本 CLI 技能为实现依据。