SuperAPI AI 工具集

scraperapi-scraper-builder

编程与开发

查看项目

更新于 10-16 01:25

技能介绍

用途:依据 ScraperAPI 生成可运行的爬虫脚本,适用于抓取商品、文章、搜索结果等网页数据。

主要流程分四阶段:

  1. 收集需求:确定目标 URL、需提取字段、数据量、语言(默认 Python)、输出格式(默认 stdout JSON)、是否需要地理定位。
  2. 站点侦察:用 ScraperAPI 标准请求抓取 1–2 个样本页,观察 HTTP 状态、反爬(Cloudflare、DataDome 等)、是否需 JS 渲染、分页结构、数据容器选择器、是否有 JSON-LD 或内部 API 端点,产出 Site Profile 表。
  3. 架构决策:按顺序决定是否用结构化端点(Amazon、Google、Walmart、eBay、Redfin、Indeed、LinkedIn 等),是否需要 render=true,是否升级 premium/ultra_premium(两者互斥),按数据量选同步或 Async Jobs API,是否需要 session_number、country_code。
  4. 生成代码:产出完整可运行脚本,含 argparse CLI、从环境变量 SCRAPERAPI_API_KEY 读取密钥、指数退避重试、--max-credits 预算保护、1 请求/秒限速、分页循环与 extract() 解析函数。

积分参考:标准 1、render/premium 约 10、ultra_premium 约 30、结构化端点 1–10。错误处理:401 终止,403 升级代理,404 跳过,429/500/503 指数退避重试。受限细节以官方文档为准。