SuperAPI AI 工具集

web-archive-scraper

前端与建站

查看项目

更新于 10-16 06:51

技能介绍

用途:搜索 Wayback Machine 中网站的历史快照,抓取缓存页面内容,从已改版或已关闭的站点中找回客户名单、推荐语、案例研究、合作伙伴目录等信息。

主要能力:通过 CDX API 查询匹配 URL 的快照;按日期范围、HTTP 状态码、MIME 类型过滤;默认按天去重;可选抓取存档 HTML(使用 id_ 修饰符跳过 Wayback 工具栏)并剥离标签输出可读文本;支持 json、csv、summary 三种输出格式。

使用方式:唯一依赖为 requests,无需 API 密钥。示例: python3 skills/web-archive-scraper/scripts/search_archive.py --url "https://botkeeper.com/customers" 支持 --from/--to 日期范围、--match(exact、prefix、host、domain)、--limit(默认 25)、--fetch、--fetch-all、--status(默认 200)、--output、--collapse(none、day、month、year)。

适用场景:查找已关闭公司的客户名单;在网站改版前恢复推荐语或案例;追踪竞争对手信息变化;查找已被移除的合作伙伴目录。

限制:CDX API 免费且无需认证,速率限制约每分钟 15 次请求;content 字段仅在 --fetch 或 --fetch-all 时填充;--fetch-all 建议配合较小的 --limit 使用。其他细节暂未提供。