用途:面向非自有主机的批量抓取,回答“能以多快速度抓取”“何时付费传输优于直连”“如何证明所依赖的回退通道确实运行过”。
主要能力:
- 速率计算:workers / sleep_seconds 即策略,须在代码旁写明上限及其 URL 与查阅日期;无公开上限时按 1 req/s 并记录查阅位置。示例:SEC EDGAR 公布 10 req/s 且要求声明 User-Agent,故 WORKERS, SLEEP_SECONDS = 8, 1.0,EFFECTIVE_RPS = 8.0。
- 区分配额与速率限制:速率限制下并行到上限正确;配额下并行只会更快耗尽预算,不改变可获取总量。
- 验证回退:代理、解锁器、镜像、备用 API 未执行即未验证,可用 xan frequency -s transport data/output/manifest.csv 统计;零使用须显式选择强制测试、标注 UNVERIFIED 或删除。
- 传输选择:公开数据且有文档上限用直连;按 IP 配额用付费传输;反爬/CAPTCHA 用付费解锁器;地理限制用带地理定位的代理;已有厂商数据集则直接购买。
- 厂商对比:Zyte API(按 RPM 限速,按成功响应计费)、Bright Data(按区域并发与支出上限,宣称无并发限制但无文档数字,视为未验证)、ScrapingBee(按计划并发上限,积分倍率 1–75×)。
使用方式:先做 5–10 页小规模测试再扩展;在 worker 数旁注明配额或速率限制类型;引用厂商并发或价格前重新查阅页面并标注日期。
限制:厂商价格与限额会变动,须重新核对;付费解锁器对公开无保护页面不划算;未声明 UA 或不计算速率可能触发封禁并影响共享 IP。SEC.gov 专项由 sec-fetch 技能负责。