用途:通过 Scrape.do API 抓取网页内容,适用于普通 fetch 失败(被封锁、需要 JavaScript 渲染)的场景。当 WebFetch 返回 403、401、429、超时、access denied、Cloudflare 等错误时自动启用。
主要能力:获取页面文本;使用 --html 参数获取原始 HTML。返回结果包含 success 标志,成功时提供 content(文本)与 html(原始 HTML),失败时 content 为错误描述(如缺少 token、超出限额、页面不可访问)。
使用方式:命令行执行 python scripts/scrape.py https://example.com 获取文本;加 --html 获取 HTML。也可在 Python 中导入 from scripts.scrape import fetch_via_scrapedo,调用 fetch_via_scrapedo('https://example.com'),根据 result['success'] 判断并读取 result['content'] 或 result['html']。
限制:需要 Scrape.do 的 token;受配额限制;若返回错误说明该页面无法通过此方法访问。其余配置细节暂未提供。