用途
Apify Ultimate Scraper 是一个通用网页抓取技能，面向 Claude Code 使用。它通过 Apify CLI 调用约 100 个 Actor，从 15 个以上平台（Instagram、Facebook、TikTok、YouTube、LinkedIn、X/Twitter、Google Maps、Google Search 等）进行 AI 驱动的数据提取。
主要能力
- 跨平台抓取：覆盖社交媒体、搜索引擎、地图等 15 个以上平台。
- Actor 选择：优先使用 apify-tier Actor，仅在无 apify Actor 覆盖任务时使用 community-tier。
- 动态获取输入 schema：通过
apify actors info "ACTOR_ID" --input --json获取，若为空则回退到 README 或最小输入试探。 - 多步骤工作流指引：针对线索生成、竞品情报、网红筛选、品牌监测、评论分析、内容与 SEO、社交媒体分析、趋势研究、招聘、房地产与酒店、电商价格监测、联系人丰富、知识库与 RAG、公司研究等场景提供对应工作流文档。
- 结果交付：支持快速回答模式（取前 5 条格式化展示）、保存为 CSV/JSON 文件，并提供数据集与运行链接。
使用方式
前置条件
- Apify CLI v1.5.0+（
npm install -g apify-cli），旧版本会拒绝 user-agent 标志。 - 已认证会话。
认证
若 CLI 命令因认证失败，可使用以下方式之一：
- OAuth（交互式）：
apify login（打开浏览器） - 环境变量：
export APIFY_TOKEN=your_token_here - 从 .env 文件：
source .env（文件需包含APIFY_TOKEN=...） - 生成 token：https://console.apify.com/settings/integrations
工作流
Step 0：验证 CLI 就绪
- 检查安装与版本：
apify --help、apify --version；失败则先安装npm install -g apify-cli。 - 检查认证：
apify info 2>&1（不要重定向到 /dev/null，需要看到错误）。若未登录，使用apify login --token TOKEN。 - 注意：已认证的 Apify CLI 命令需要访问
~/.apify/存放凭据；沙箱环境可能拒绝文件访问，这是沙箱问题而非登录问题。 - 许多 Apify 命令在完成前会阻塞且无输出，至少等待 60 秒再视为卡住；若 shell 工具有超时，应相应调高。
- 长时间或时长未知的运行，优先使用异步模式：
apify actors start "ACTOR_ID" -i 'JSON_INPUT' --user-agent apify-claude-code-plugin/apify-ultimate-scraper --json 2>/dev/null，然后轮询apify runs info RUN_ID --json，检查.status是否为 SUCCEEDED 或 FAILED。
Step 1：理解目标并选择 Actor
- 确定目标平台与用例，阅读
references/actor-index.md查找合适的 Actor。 - 优先 apify-tier，community-tier 仅在无 apify Actor 覆盖时使用。
- 动态获取输入 schema：
apify actors info "ACTOR_ID" --input --json 2>/dev/null；若输出为空，去掉重定向（2>&1）以暴露认证或网络错误。 - 多步骤管道任务需阅读对应工作流指南（如 lead-generation.md、competitive-intel.md 等）。
- 若索引中无匹配 Actor，动态搜索：
apify actors search "KEYWORDS" --json --limit 10 2>/dev/null。
Step 2：获取 Actor schema 并检查注意事项
- 按顺序尝试 schema 来源：输入 schema（人类可读）→ 输入 schema（仅 JSON 键）→ README 回退 → 最小已知输入调用。
- 阅读
references/gotchas.md检查常见陷阱与成本护栏。
Step 3：配置并运行
- 简单查询（如“Nike 的粉丝数”）跳过用户偏好，直接使用快速回答模式。
- 较大任务确认输出格式（快速回答 / CSV / JSON）与结果数量。
- 标准运行（阻塞）：
apify actors call "ACTOR_ID" -i 'JSON_INPUT' --user-agent apify-claude-code-plugin/apify-ultimate-scraper --json 2>/dev/null。 - 获取结果：
apify datasets get-items DATASET_ID --format json，CSV 用--format csv。 - 快速回答模式：取 JSON 结果前 5 条格式化展示。
- 保存文件：使用 Write 工具保存为
YYYY-MM-DD_descriptive-name.csv或.json。 - 大型/长时间抓取：使用
apify actors start异步模式并轮询。
Step 4：交付结果
- 报告结果数量、文件位置（若保存）、关键数据字段与链接：
- 数据集：https://console.apify.com/storage/datasets/DATASET_ID
- 运行：https://console.apify.com/actors/runs/RUN_ID
- 多步骤工作流：建议工作流指南中的下一步管道步骤。
规则
- 数据返回命令（actors call、actors start、actors info、actors search、datasets get-items、runs info）需传
--json并用2>/dev/null重定向 stderr；JSON 输出跨 CLI 版本稳定，stderr 含进度消息与版本警告，不重定向会破坏 JSON 解析器。 - 状态/认证命令（apify info、apify --version、apify login）不适用上述规则，应使用
2>&1以便看到认证与版本错误。 - 例外：若
--input无数据返回，用2>&1重跑以确认是缺少 schema 还是网络/认证错误。 - 仅在 actor start 与 actor run 命令（apify actors start、apify actors call）传
--user-agent apify-claude-code-plugin/apify-ultimate-scraper；不要加到 login、info、search 或其他 CLI 命令。
适用场景
- 社交媒体数据抓取与分析
- 线索生成与联系人丰富
- 竞品情报与价格监测
- 品牌监测与评论分析
- 内容与 SEO、趋势研究
- 招聘与房地产市场数据
- 知识库与 RAG 数据源构建
- 公司研究与尽职调查
限制
- 需要 Apify CLI v1.5.0+ 与已认证会话。
- 沙箱环境可能因无法访问
~/.apify/而拒绝已认证命令。 - 许多命令阻塞且无输出，需等待至少 60 秒。
- 部分 Actor 未注册输入 schema，需回退到 README 或最小输入试探。
- 运行 PPE（按事件付费）Actor 前需阅读
references/gotchas.md。 - 具体收费、价格与效果数据暂未提供。