SuperAPI AI 工具集

@1247/web-crawler

测试与质量

查看项目

更新于 10-16 09:31

技能介绍

用途:这是一个基于 Playwright 的无头浏览器技能,用于爬取 JavaScript 重型网站、截图、点击按钮并运行 UX 审计,适合 SPA、需要真实浏览器渲染的页面以及交互测试场景。

主要能力:单页截图;完整 UX 审计模式(广度优先爬取所有内部页面,逐页截图,提取内部与外部分链,捕获控制台错误,执行无障碍检查如缺失 alt、未标注按钮、缺失 h1/lang,并映射所有可点击元素,生成 audit.md 报告);点击指定 CSS 选择器并截图;顺序点击所有匹配元素;提取全部链接或可见文本;捕获控制台消息。

使用方式: 单页截图:python3 skills/web-crawler/scripts/crawl.py https://example.com 完整审计:python3 skills/web-crawler/scripts/crawl.py https://example.com --audit --max-pages 30 点击按钮并截图:python3 skills/web-crawler/scripts/crawl.py https://example.com --click "button.cta" 点击所有导航链接:python3 skills/web-crawler/scripts/crawl.py https://example.com --click-all "nav a" 提取文本:python3 skills/web-crawler/scripts/crawl.py https://example.com --extract-text

关键选项:--audit 开启审计(默认关);--max-pages N 审计最大爬取页数(默认 20);--full-page 整页截图;--click SEL 点击选择器;--click-all SEL 点击全部匹配元素;--extract-links 提取链接;--extract-text 提取文本;--console-log 捕获控制台;--wait SEC 加载后等待秒数(默认 2);--viewport WxH 视口(默认 1440x900);--timeout SEC 导航超时(默认 30)。

输出结构:output/crawl-{domain}/ 下含 screenshots/(各页 PNG)、pages/(各页提取文本)、report.json(结构化爬取数据)、audit.md(可读审计报告,仅审计模式)。

适用场景:网站 UX 审计、页面截图、交互测试、SPA 文本与链接提取。

限制:哈希路由 SPA 的仅 hash 路由不会被审计模式自动发现,需用 --click-all "nav a";暂不支持登录墙站点(未来计划加 --cookie);爬取速度快,敏感站点建议 --wait 3;首次运行需 playwright install chromium(约 110MB),已在 setup.sh 中持久化。