用途:通过 Wayback Machine(Internet Archive)搜索网站的历史存档快照,抓取缓存页面内容,用于查找已变更或已关闭网站上的客户名单、客户评价、合作伙伴目录等信息。
主要能力:查询 web.archive.org 的 CDX API 获取匹配快照;按日期范围、HTTP 状态码和 MIME 类型过滤;默认按天去重;可选抓取存档的原始 HTML(使用 id_ 修饰符跳过 Wayback 工具栏);抓取时剥离 HTML 标签输出可读文本。
使用方式:仅依赖 requests,无需 API 密钥。示例命令: python3 skills/web-archive-scraper/scripts/search_archive.py --url "https://botkeeper.com/customers" 支持 --from/--to 日期范围、--match(exact、prefix、host、domain)、--limit、--fetch、--fetch-all、--status、--output(json、csv、summary)、--collapse(none、day、month、year)等参数。
适用场景:查找已关闭公司的客户名单;在网站改版前恢复客户评价或案例研究;追踪竞争对手信息随时间的变化;查找已被移除的合作伙伴目录。
限制:Wayback Machine CDX API 免费且无需认证,速率限制约为每分钟 15 次请求;content 字段仅在启用 --fetch 或 --fetch-all 时填充;--fetch-all 建议配合较小的 --limit 使用。其他限制暂未提供。