clean-content-fetch 是一个面向网页正文提取与内容清洗的技能,主要用于从现代网页中获取干净、可读的正文内容,并输出为 Markdown 或文本。当用户需要获取网页内容、提取文章主体、把网页转成 Markdown/text,或抓取文章正文时,可优先使用该技能。
主要能力方面,该技能通过 Scrapling 抓取页面,默认按 article、main、.post-content、[class*="body"] 的选择器优先级定位正文区域;命中正文后使用 html2text 转换为 Markdown,若以上选择器均未命中则回退到 body,最终按 max_chars 参数截断输出。脚本默认输出 Markdown 正文内容,如需结构化输出可追加 --json;如需调试提取命中了哪个选择器,可查看 stderr 输出。
使用方式上,默认流程为运行 python3 scripts/scrapling_fetch.py <url> <max_chars>。示例用法为 python3 /Users/zzd/.openclaw/workspace/skills/scrapling-web-fetch/scripts/scrapling_fetch.py <url> 30000。依赖项优先检查 scrapling、html2text、curl_cffi、playwright、browserforge。资料推荐使用独立虚拟环境以避免系统 Python 的 PEP 668 限制,并给出了创建虚拟环境、安装依赖及安装 Chromium 的命令。直接运行脚本时,优先使用该虚拟环境中的 Python。另有统一入口 scripts/fetch-web-content,以及用法参考 references/usage.md 和选择器策略 references/selectors.md 等附加资源。
适用场景包括:获取文章正文;抓取博客、新闻、公告正文;将网页转成 Markdown 供后续总结;常规 fetch 效果差、希望提升现代网页抓取稳定性时使用;以及抓取小红书分享短链或笔记落地页正文。对于 xhslink.com 短链或小红书笔记页,资料建议直接使用虚拟环境中的脚本运行,脚本会先解析短链并抓取落地页正文,适合提取小红书笔记文案、标题和主体内容;若页面需要更复杂交互,再切到浏览器自动化。
限制方面,若需要完整浏览器交互、点击、登录、翻页时,应改用浏览器自动化;若只是简单获取 API JSON,直接请求 API 更合适。