用途:通过 Apify 平台 API 运行抓取任务(Actor),从网站提取结构化数据,适用于网页抓取、爬虫、内容采集与数据抽取场景。
主要能力:异步启动 Actor 运行;同步运行并直接返回数据集条目(最长约 5 分钟);查询运行状态(READY、RUNNING、SUCCEEDED、FAILED、ABORTED、TIMED-OUT);获取数据集条目并支持 limit、offset 分页;列出近期运行;中止运行;浏览公开 Actor 商店。常用 Actor 包括 apify/web-scraper、apify/website-content-crawler、apify/google-search-scraper、apify/instagram-scraper、junglee/amazon-crawler 等。
使用方式:需配置 APIFY_TOKEN 环境变量。请求体写入 /tmp/apify_request.json,再用 curl 调用 API。异步运行示例:curl -s -X POST "https://api.apify.com/v2/acts/apify~web-scraper/runs" --header "Authorization: Bearer $APIFY_TOKEN" --header "Content-Type: application/json" -d @/tmp/apify_request.json。同步运行使用 run-sync-get-dataset-items 端点。运行响应含 id 与 defaultDatasetId,用于查询状态和获取结果。
运行选项:timeout(秒)、memory(128 至 4096 MB)、maxItems、build、waitForFinish。
限制与排查:同步端点最长约 5 分钟,长任务应使用异步;各 Actor 输入结构不同,需查阅对应 Actor 页面;速率限制为全局每分钟 250,000 次请求、每资源每秒 400 次;内存越高执行越快但消耗积分越多;积分用量可在 https://console.apify.com/billing 查看。请求失败时可运行 zero doctor check-connector --env-name APIFY_TOKEN 或 zero doctor check-connector --url https://api.apify.com/v2/acts/apify~web-scraper/runs --method POST 排查。