用途:当 headless-web-scraping(Fetcher→StealthyFetcher→DynamicFetcher)已被尝试、目标仍返回 403/429 或地域封锁,且速率限制已达 3 秒以上、robots.txt 允许该路径、User-Agent 与 TLS 指纹已足够真实、抓取合法(公开数据、无绕过认证、无绕过付费墙、无无法律依据的个人数据)时才考虑使用。代理轮换是最后手段而非默认选项,成本高且涉及伦理。
主要能力:区分代理池类型——数据中心(易被 Cloudflare/Akamai 拦截、成本低,适合无真实反爬的站点)、住宅(真实 ISP IP、难检测、成本高)、移动(运营商级 NAT、极难检测、成本最高,仅在住宅也被封时使用);支持按请求轮换或粘性会话;从环境变量读取凭证;提供池健康检查、瞬时失败退避、请求/时长/失败数预算与熔断;保留 ≥1 秒限速并继续遵守 robots.txt。
使用方式:先做书面合法性审查(七个问题任一为“否/未知”即停止);选择能解决问题的最便宜池;用 Scrapling 集成,凭证通过环境变量读取(示例:http://user:pass@gateway.example:7777),切勿硬编码或提交 .env;粘性会话在用户名中带会话 ID(如 user-session-abc123)用于登录等多页流程,匿名批量抓取用按请求轮换;运行前用 IP 回显端点确出口 IP 变化;批量前做样本健康检查;用预算类限制请求数、时长、失败数,并记录各代理成功率以剔除坏 IP。
适用场景:公开数据、无登录、无认证/付费墙/地域授权绕过,且已有合法依据与预算的抓取活动。
限制与风险:不得用于欺诈、撞库、球鞋抢购机器人、内容盗版或绕过地域授权;住宅/移动池可能涉及出口节点同意的伦理问题,应选经审计且用户主动同意的提供商;轮换不能替代反检测、不能授权违反 ToS 或 robots.txt 的抓取;按请求轮换会破坏依赖 Cookie/CSRF 的会话;未监控的循环可能在计量代理上产生高额账单;代理凭证一旦提交会泄露到 git、镜像与堆栈跟踪。部分代理提供商信息、价格与具体平台细节,资料暂未提供。