SuperAPI AI 工具集

web-scraping

数据与分析

查看项目

更新于 10-15 21:37

技能介绍

用途:面向非自有主机的批量抓取,回答“能以多快速度抓取”“何时付费传输优于直连”“如何证明所依赖的回退通道确实运行过”。

主要能力:

  1. 速率计算:workers / sleep_seconds 即策略,须在代码旁写明上限及其 URL 与查阅日期;无公开上限时按 1 req/s 并记录查阅位置。示例:SEC EDGAR 公布 10 req/s 且要求声明 User-Agent,故 WORKERS, SLEEP_SECONDS = 8, 1.0,EFFECTIVE_RPS = 8.0。
  2. 区分配额与速率限制:速率限制下并行到上限正确;配额下并行只会更快耗尽预算,不改变可获取总量。
  3. 验证回退:代理、解锁器、镜像、备用 API 未执行即未验证,可用 xan frequency -s transport data/output/manifest.csv 统计;零使用须显式选择强制测试、标注 UNVERIFIED 或删除。
  4. 传输选择:公开数据且有文档上限用直连;按 IP 配额用付费传输;反爬/CAPTCHA 用付费解锁器;地理限制用带地理定位的代理;已有厂商数据集则直接购买。
  5. 厂商对比:Zyte API(按 RPM 限速,按成功响应计费)、Bright Data(按区域并发与支出上限,宣称无并发限制但无文档数字,视为未验证)、ScrapingBee(按计划并发上限,积分倍率 1–75×)。

使用方式:先做 5–10 页小规模测试再扩展;在 worker 数旁注明配额或速率限制类型;引用厂商并发或价格前重新查阅页面并标注日期。

限制:厂商价格与限额会变动,须重新核对;付费解锁器对公开无保护页面不划算;未声明 UA 或不计算速率可能触发封禁并影响共享 IP。SEC.gov 专项由 sec-fetch 技能负责。