用途:这是一个基于 Playwright 的网页抓取 OpenClaw 技能,带有反爬虫保护,可按目标网站的反爬等级选择不同抓取方式。
主要能力与选择建议:普通低反爬站点用 OpenClaw 内置 web_fetch 工具;需 JavaScript 渲染的动态站点用 scripts/playwright-simple.js;Cloudflare 等高反爬站点用 scripts/playwright-stealth.js,其特性包括隐藏自动化标记(navigator.webdriver = false)、真实 User-Agent(iPhone、Android)、随机延迟模拟人类行为,并支持截图与保存 HTML。YouTube 字幕需单独安装 deep-scraper,Reddit 需 reddit-scraper。
安装:cd playwright-scraper-skill 后执行 npm install,再执行 npx playwright install chromium。
用法示例:node scripts/playwright-simple.js "https://example.com";node scripts/playwright-stealth.js "https://m.discuss.com.hk/#hot"。脚本支持环境变量:SCREENSHOT_PATH、WAIT_TIME、HEADLESS=false、SAVE_HTML=true、USER_AGENT。输出为 JSON(含 url、title、content、elapsedSeconds 等)。
限制与排错:遇到 403 或 Cloudflare 挑战页可改用 stealth 脚本、增加等待时间、尝试 headful 模式或代理 IP;空白页可增大 waitForTimeout、改用 networkidle/domcontentloaded 或检查是否需登录。资料提到未来改进方向包括代理 IP 轮换、Cookie 管理、验证码处理、批量抓取等,尚未提供具体实现。