用途:获取网页正文内容,将网页转换为 Markdown/纯文本,适合文章、博客、新闻、公告等中主体内容的抓取,也用于常规抓取效果差或页面噪音较多的场景。
主要能力:按优先级选择正文(article、main、.post-content、[class*="body"]),命中后用 html2text 转 Markdown,均未命中则回退 body,并按 max_chars 截断。默认输出 Markdown,可追加 --json 获得结构化输出,stderr 可查看命中的 selector。
使用方式:默认运行 python3 scripts/scrapling_fetch.py <url> <max_chars>。示例路径命令为 /Users/zzd/.openclaw/workspace/.venvs/clean-content-fetch/bin/python /Users/zzd/.openclaw/workspace/skills/scrapling-web-fetch/scripts/scrapling_fetch.py <url> 30000。
依赖:scrapling、html2text、curl_cffi、playwright、browserforge。推荐独立虚拟环境安装,并执行 playwright install chromium。
限制:需要复杂浏览器交互、点击、登录、翻页时改用浏览器自动化;仅需 API JSON 时直接请求 API 更合适。其他环境路径、收费等信息暂未提供。