SuperAPI AI 工具集

webfetch-plus

通用与其它

查看项目

更新于 10-15 21:52

技能介绍

用途:当普通 WebFetch 抓取失败,或目标页面存在验证码、WAF、登录拦截时,使用 webfetch-plus 通过本地浏览器抓取网页正文。

主要能力:支持 headless 抓取、--stealth 定制 Chromium 增强反 WAF、自动重试、按 CSS 选择器抽取、输出 markdown/text/html、保存与复用 Playwright storageState 会话,以及通过 bin/wfp-human.sh 在交互 TTY 中人工完成验证后保存会话。

使用方式:先设置 WFP_PATH 为当前 skill 路径,命令执行前 cd "$WFP_PATH"。普通抓取可管道传入 URL 和参数,如 echo "https://example.com" | bash "bin/wfp.sh",也可直接传参 bash bin/wfp.sh "https://example.com" --wait 3000,stdout 输出正文文件路径。动态页面超时可改用 --wait-until domcontentloaded 并提高 --timeout。遇到验证码或登录时,在交互 TTY 中运行 bash bin/wfp-human.sh 'https://example.com/protected-page',完成后按回车保存默认会话。

适用场景:需要抓取被反爬拦截的页面、复用登录态、在无人值守任务中使用已有会话。

限制:Agent 或非 TTY 环境不要运行人工验证流程;启动器不自动解滑块;--out 同一路径不可并发使用;--save-state 文件可能含登录态,勿提交到 git;失败证据写入 /tmp/wfp-evidence/,正文默认写入 /tmp/wfp-tasks/;默认 state 路径由 runtime 的 getDefaultStatePath() 决定,为 /tmp/wfp-states/<hostname-clean>.json。