用途:查询 Wayback Machine 的公开 CDX API(web.archive.org/cdx/search/cdx),获取指定 URL 或域名的历史存档快照,并可按需抓取缓存 HTML 并剥离为可读文本。适用于找回已删除的客户名单、推荐语、合作伙伴目录,或追踪竞争对手多年间的文案变化。
主要能力:支持 exact、prefix、host、domain 四种匹配方式;可按 YYYY-MM-DD 指定服务端日期范围;可限制快照数量、按 HTTP 状态码过滤、按 none/day/month/year 去重;输出 json、csv 或 summary。每条快照包含 url、timestamp、datetime、status_code、mime_type、archive_url、raw_url、content,content 仅在抓取时填充,raw_url 使用 id_ 修饰符以排除 Wayback 工具栏。
使用方式:python3 ${SKILL_DIR}/scripts/wayback_scraper.py --url "<url-or-domain>" [options]。常用参数:--url(必填)、--match(默认 exact)、--from/--to、--limit(默认 25)、--fetch(抓取最近一条)、--fetch-all(抓取全部匹配)、--status(默认 200,any 含重定向/错误)、--collapse(默认 day)、--output(默认 json)。示例:python3 ${SKILL_DIR}/scripts/wayback_scraper.py --url "example.com/customers" --fetch --output summary。
限制:CDX 速率限制约每分钟 15 次请求,脚本对 fetch_all 做约 4 秒间隔并在 429/503 时退避;使用 --fetch-all 前应保持较小 --limit。prefix/domain 匹配可能枚举大量页面,需先限制数量。并非所有快照状态码为 200,可用 --status any 检查重定向与错误。凭据方面无需任何密钥;可选 SUPABASE_URL/SUPABASE_KEY,若设置则跨运行持久化快照,否则为默认的一次性无状态提取。