SuperAPI AI 工具集

web-archive-scraper

前端与建站

查看项目

更新于 10-15 21:54

技能介绍

用途:搜索 Wayback Machine 中网站的历史快照,抓取缓存页面内容,用于找回已改版或已关闭网站上的客户名单、客户评价、合作伙伴目录等信息。

主要能力:通过 CDX API 查询匹配 URL 的快照;按日期范围、HTTP 状态码、MIME 类型过滤;默认按天去重;可选抓取归档 HTML(使用 id_ 修饰符跳过 Wayback 工具栏)并剥离标签输出可读文本。

使用方式:仅依赖 requests,无需 API 密钥。示例命令: python3 skills/web-archive-scraper/scripts/search_archive.py --url "https://botkeeper.com/customers" 支持 --from/--to 日期范围、--match prefix 前缀匹配、--limit 数量限制、--fetch 抓取最新快照内容、--fetch-all 抓取全部匹配快照、--status 状态过滤、--output json/csv/summary、--collapse none/day/month/year 去重级别。

输出:JSON 含 url、timestamp、datetime、status_code、mime_type、archive_url、raw_url、content;content 仅在 --fetch 或 --fetch-all 时填充。

适用场景:查找已关闭公司的客户名单、在网站改版前恢复推荐语/案例、追踪竞争对手信息变化、查找已删除的合作伙伴目录。

限制:免费,CDX API 无需认证,速率限制约每分钟 15 次请求;--fetch-all 建议配合较小的 --limit 使用。其他细节暂未提供。