用途:Website-to-Vite Scraper 是一个多提供商网站抓取技能,可将任意网站(包括客户端渲染的 CSR/SPA 站点)转换为可部署的静态站点。
主要能力:提供四种抓取方式——Playwright(通用站点、Next.js/React 应用,免费,支持完整 JS 渲染)、Apify RAG Browser(面向 LLM/RAG 优化,自适应爬取,消耗 credits)、Crawl4AI(面向 AI 训练数据,干净提取,消耗 credits)、Firecrawl(面向受保护站点,具备反爬绕过,每月 16 美元)。支持自动提供商回退、资源下载与 Cloudflare Pages 部署。对 Next.js 站点可自动提取 NEXT_DATA 并保存为 next_data.json。
使用方式:推荐通过 GitHub Actions 运行,进入 Actions → Website Scraper V2 → Run workflow,可设置 URL、项目名、方法与是否部署。工作流参数包括 url、project_name、scrape_method(默认 playwright)、extract_assets(默认 true)、deploy_cloudflare(默认 true)。可通过 Apify MCP 与 Claude Desktop/Cursor 集成,配置示例:command 为 npx,args 为 @apify/actors-mcp-server,env 中设置 APIFY_TOKEN;也可使用托管地址 https://mcp.apify.com?token=YOUR_TOKEN。
输出结构:项目下含 dist(index.html、screenshot.png、meta.json、assets 中的 images/css/js)与 results(各提供商原始输出)。
适用场景与限制:适合静态站点克隆、JS 重度 SPA 抓取、RAG/LLM 数据采集及受保护站点绕过。简单静态站点用 Playwright 即可;受保护站点建议 Firecrawl;最大覆盖可用 all。部分站点会阻止直接资源请求或检测数据中心 IP,可改用 Firecrawl 或带住宅代理的 Apify。安全评估中 Apify 85/100、Firecrawl 82/100、Playwright 90/100 均建议采用。付费价格、credits 具体额度等细节暂未提供。