SuperAPI AI 工具集

scrape-explore-site

通用与其它

查看项目

更新于 10-16 06:14

技能介绍

用途:给定一个起始 URL,在限定范围内探索网站,发现并保存多样化的页面(起始页、列表/分类页、详情页),并对页面链接进行分类,供后续抓取或分析使用。

主要能力:接受最多 4 个位置参数:url(起始 URL)、project_path(输出路径)、DETAIL_COUNT(详情页数量,默认 3)、LIST_COUNT(列表/分类页数量,默认 2)。起始页始终保存。以起始 URL 为范围根:站点根则广泛探索各类别;分类/列表页则停留在该子树内,跟随分页和更深子分类,不扩展到同级或父级分类。

使用方式:通过脚本 download.py 下载页面(HTTP + Playwright + 截图),从 stdin 读取 JSON 任务数组,为每个任务生成 raw.html、rendered.html、screenshot.png、meta.json,多任务并行,日志追加写入。用 extract_links.py 提取链接,输出带编号的 JSON 分组,需传入 --link-limit(取 DETAIL_COUNT 与 LIST_COUNT 中较大者)。用 apply_classification.py 将分组分类为 items、subCategories、nextPage 或 skip,并写入 links.json。链接提取优先使用 rendered.html,缺失时回退 raw.html。分类需综合路径、href、文本三种信号。每个保存页面(除起始页)通过 discovered_from 写入反向链接。最后用 extract_nav_values.py 生成导航值到 {project_path}/values/。

适用场景:需要快速了解网站结构、采集起始/列表/详情页样本、为后续抓取准备页面与链接分类数据时。

限制:禁止使用 WebFetch 下载页面,禁止读取 screenshot.png。若起始页在 raw 和 rendered 下均被完全拦截(CAPTCHA、人机验证、403、Cloudflare 挑战),立即停止并返回 blocked: true,不尝试绕过、重试或更换 URL;后续页面被拦截则继续处理可用页面,不重试被拦截 URL。被拦截页面在 meta.json 中标记 blocked。列表页若无 items,在 meta.json 中加 warning: no_items。输出结构位于 {project_path}/pages/ 下,含 start-1、list-1、detail-1、unknown-1 等目录。具体收费、平台支持等未提供。