SuperAPI AI 工具集

apify-core-workflow-a

编程与开发

查看项目

更新于 10-15 22:42

技能介绍

用途:提供在 Apify 上完成端到端网页抓取的流程,从定义输入 schema、用 Crawlee 构建 Actor、抽取结构化数据、存入数据集,到本地测试并部署到 Apify 平台。

主要能力:定义 .actor/INPUT_SCHEMA.json 输入 schema(如 startUrls、maxItems、proxyConfig);使用 createCheerioRouter 路由模式区分列表页与详情页,默认处理器入队商品链接与分页,PRODUCT 处理器抽取字段;通过 Actor.pushData 写入默认数据集,并在键值存储写入运行摘要;配置代理、并发与失败请求处理;用 Dockerfile 打包(apify/actor-node:20 两阶段构建);本地运行与平台部署;用 apify-client 以编程方式取回结果。

使用方式:先安装依赖 npm install apify crawlee,并 npm install -g apify-cli 后执行 apify login;本地测试可创建 storage/key_value_stores/default/INPUT.json 后运行 apify run,结果查看 storage/datasets/default/ 与 SUMMARY.json;部署用 apify push(或 apify push username/my-actor),平台运行用 apify actors call username/my-actor;编程取回时 API token 从 process.env.APIFY_TOKEN 读取,切勿硬编码。

适用场景:需要抓取商品列表与详情页等结构化数据、并部署为可复用 Apify Actor 的抓取任务。

限制:需熟悉 apify-sdk-patterns;选择器失效需更新 CSS 选择器;达到 maxRequestsPerCrawl 需提高上限或过滤 URL;遇反爬需切换住宅代理;超时需增加超时或缩小范围。完整 Actor 源码、Dockerfile 与取回代码见 implementation.md,示例见 examples.md。