用途:该技能用于抓取网页、爬取网站、发现站点 URL、网络搜索,以及从网站提取结构化数据。它通过 Shift 本地 Skill Router 调用,无需让用户在对话中粘贴凭据。
调用方式:向 ${SHIFT_LOCAL_GATEWAY}/skill-router/invoke 发送 POST 请求,指定 skillProvider 为 firecrawl、skill 为 web-scraper,并选择 action。
主要能力:
- scrape:将单个 URL 内容提取为干净 markdown。可选 formats(markdown、html、links、screenshot)、onlyMainContent、includeTags/excludeTags、waitFor、timeout、mobile、location 等。
- crawl:异步爬取网站,返回 job ID,用 crawl_status 轮询。可选 limit、maxDepth、includePaths/excludePaths、allowExternalLinks、allowSubdomains、scrapeOptions。
- crawl_status:查询爬取任务状态,值包括 scraping、completed、failed。
- map:发现站点全部 URL 而不抓取内容,可用 search、limit、includeSubdomains、ignoreSitemap。
- search:网络搜索并可抓取结果页,可用 limit、lang、country、tbs、scrapeOptions。
- extract:异步提取结构化数据,可用 prompt、schema、enableWebSearch,返回 job ID 后用 extract_status 轮询。
认证:需要 Firecrawl API key 在 Shift 中配置,可从 https://www.firecrawl.dev 获取。
建议:单页优先用 scrape,多页才用 crawl;大规模爬取前先用 map 了解站点结构;异步任务每几秒轮询一次;默认使用 markdown 格式。抓取失败时可提示检查 URL,或对 JavaScript 较重的页面使用 waitFor。