SuperAPI AI 工具集

blocked-page-recovery

通用与其它

查看项目

更新于 10-16 09:46

技能介绍

用途:当网页抓取失败(403/429、Cloudflare“Just a moment...”、付费墙或机器人检测中间页)时,不要放弃,也不要对同一 URL 反复重试,而是按“最便宜优先”的阶梯寻找第三方副本。

主要能力:技能提供一条恢复阶梯:1) Wayback Machine,使用 archive.org 的 available API 获取快照与时间戳;2) archive.today,按 archive.ph → .md → .li → .is 轮换域名;3) Jina Reader,仅在设置了 JINA_API_KEY 时使用,做实时服务端渲染;4) API 优先转向,寻找同主机上的 /api/、/graphql、.json 或 RSS;5) 真实浏览器,作为最后且最昂贵的手段。附带脚本可一次性依次尝试并输出首个真实命中:python3 scripts/recover_page.py "https://example.com/blocked-article" --json。

用法与来源纪律:每条恢复副本都带有来源,引用时必须保留。Wayback / archive.today 属快照,需带快照日期引用,如“as archived 2026-08-06”,不得当作实时页面;Jina Reader 与实时抓取/浏览器属实时来源,可正常引用。若用户需要当前数据(价格、可用性、突发新闻),快照只是背景而非答案。手动路线包括:curl -sL "https://archive.org/wayback/available?url={URL}",以及枚举快照的 CDX 索引 curl -sL "https://web.archive.org/cdx/search/cdx?url={URL}&output=json&limit=10"。archive.today 会对归档做校验式轮换,脚本示例用 for 循环遍历四个域名,并强调校验正文而非状态码。Jina Reader 需 curl -s -H "Authorization: Bearer $JINA_API_KEY" "https://r.jina.ai/{URL}",未设置环境变量时跳过。

限制与注意:Google Cache 自 2024 年中已失效,绝不要用;AMP 缓存多数只返回重定向占位;archive.today 的 429 限流页本身是数 KB HTML,不能只按大小判定成功。脚本会检测正文过短、指向原主机的 meta-refresh/JS 重定向、以及“Just a moment”“Redirecting”“Google Search”“Attention Required”等中间页标题。通用“网页代理”中继本质是中间人,禁止经其发送 cookie 或 Authorization 头,也不用于用户依赖的内容,因为来源不可验证。