用途
apify-ultimate-scraper 是一个通用 AI 网页抓取工具，目标是从多种平台批量提取数据。它通过 Apify CLI 调用约 100 个 Actor，覆盖 15 个以上平台，包括 Instagram、Facebook、TikTok、YouTube、LinkedIn、X/Twitter、Google Maps、Google Search 等。
主要能力
- 跨平台数据提取：支持社交媒体、地图、搜索引擎等多类平台的抓取任务。
- Actor 检索与选择：可根据关键词动态搜索 Actor，并查看其标识、标题、近 30 天用户量与定价模型。
- 输入 schema 获取：在运行前动态获取指定 Actor 的输入 schema，并查看其 README 文档。
- 常见陷阱检查：提供 gotchas 参考，用于规避常见问题，尤其是按事件付费（PPE）的 Actor。
- 预置工作流：针对多步骤任务提供配套指南，涵盖线索生成、竞品情报、网红评估、品牌监测、X/Twitter 研究与受众、评论分析、内容与 SEO、社交媒体分析、趋势研究、招聘与求职、房产与酒店、电商价格监控、联系人补全、知识库与 RAG、公司调研等方向。
- 结果交付：结果可输出为 JSON 或 CSV，支持快速回答模式（取前 5 条在对话中展示）、保存到文件，以及提供数据集和运行的控制台链接。
- 长任务支持：支持阻塞式运行，也支持启动后轮询运行状态，适合大型或长时间抓取。
使用方式
前提条件：Apify CLI v1.4.0+（npm install -g apify-cli），以及已认证的会话。
认证方式：
- OAuth（交互式）：apify login（打开浏览器）
- 环境变量：export APIFY_TOKEN=your_token_here
- 从 .env 文件：source .env（文件内含 APIFY_TOKEN=...）
- 令牌生成地址：https://console.apify.com/settings/integrations
通用规则：所有 CLI 命令始终传入 --json，并用 2>/dev/null 重定向 stderr。JSON 输出在不同 CLI 版本间稳定；stderr 含进度信息，若不重定向会破坏 JSON 解析。
工作流程：
- 理解目标并选择 Actor：确定目标平台与用例，阅读 references/actor-index.md 找到合适的 Actor。若任务为多步骤流水线，再阅读匹配的工作流指南。若索引中没有匹配的 Actor，可动态搜索：apify actors search "KEYWORDS" --json --limit 10 2>/dev/null。结果可参考 items[].username/items[].name（Actor ID）、items[].title、items[].stats.totalUsers30Days、items[].currentPricingInfo.pricingModel。
- 获取 Actor schema 并检查陷阱：apify actors info "ACTOR_ID" --input --json 2>/dev/null；同时阅读 references/gotchas.md；查看文档：apify actors info "ACTOR_ID" --readme。
- 配置并运行：简单查询（如“Nike 的粉丝数”）可跳过用户偏好设置，直接以快速回答模式运行。较大任务需确认输出格式（快速回答 / CSV / JSON）与结果数量。标准阻塞式运行：apify actors call "ACTOR_ID" -i 'JSON_INPUT' --json 2>/dev/null，输出可参考 .id（运行 ID）、.status、.defaultDatasetId、.stats.durationMillis。获取结果：apify datasets get-items DATASET_ID --format json；CSV 用 --format csv。快速回答模式：取 JSON 结果前 5 条在对话中格式化展示。保存文件：取结果后用 Write 工具保存为 YYYY-MM-DD_descriptive-name.csv 或 .json。大型/长时间抓取：apify actors start "ACTOR_ID" -i 'JSON_INPUT' --json 2>/dev/null，然后轮询 apify runs info RUN_ID --json 2>/dev/null（检查 .status 是否为 SUCCEEDED）。
- 交付结果：报告结果数量、文件位置（如已保存）、关键数据字段，以及数据集链接 https://console.apify.com/storage/datasets/DATASET_ID 和运行链接 https://console.apify.com/actors/runs/RUN_ID。多步骤工作流可按指南建议下一步流水线步骤。
适用场景
适合需要从多平台批量采集数据的任务，例如销售线索与联系人信息收集、竞品广告与定价监控、网红与创作者评估、品牌提及与情绪监测、社交媒体分析与趋势研究、评论与口碑分析、SEO 与内容研究、招聘与求职市场分析、房产与酒店信息收集、电商价格监控、知识库与 RAG 数据供给、公司调研与尽职调查等。
限制
- 依赖 Apify CLI v1.4.0+ 与已认证会话，需先完成认证。
- 所有 CLI 命令必须加 --json 并使用 2>/dev/null 重定向 stderr，否则 JSON 解析可能失败。
- 具体可用平台、Actor 数量与功能以实际索引和检索结果为准。
- 费用、定价细节与具体配额暂未提供。
- 运行前应阅读 references/gotchas.md，尤其在使用按事件付费（PPE）的 Actor 时。