用途:抓取单个 URL(FourTierScrape)或爬取整个站点(Crawl),按页面实际需要逐层升级,输出始终为 Markdown。
四层工具契约:第 1 层 WebFetch,适合无机器人检测的公开内容,免费、约 2-5 秒;第 2 层 curl 加 Chrome 请求头,应对 user-agent 与基础请求头检查,免费、约 3-7 秒;第 3 层 Interceptor(真实 Chrome),处理 JavaScript 渲染与 SPA 页面,免费、约 10-20 秒;第 4 层 Bright Data MCP 的 mcp__Brightdata__scrape_as_markdown,应对 CAPTCHA、高级指纹识别与住宅 IP 需求,消耗 Bright Data 额度、约 5-15 秒。第 1 层前会先执行 Cloudflare 的 Accept: text/markdown 预检查。
使用方式:始终从第 1 层开始,仅在受阻时升级,避免浪费第 4 层额度。可跳过:明确说“use Bright Data”直接到第 4 层,“use browser”到第 3 层,某域名第 1 层已失败则从第 2 层开始。LifeOS 中禁用 Playwright,第 3 层即 Interceptor。凭据位于 ~/.claude/.env 的 BRIGHTDATA_API_KEY。执行前会检查 ~/.claude/LIFEOS/USER/CUSTOMIZATIONS/SKILLS/BrightData/ 下的用户自定义配置,存在则覆盖默认行为。
工作流:FourTierScrape 由“scrape/fetch/pull/get/retrieve [URL]”“can't access this site”“site is blocking me”“use Bright Data to fetch”等触发;Crawl 由“crawl this site”“spider this domain”“map this website”“get all pages from”“scrape the whole site”“crawl all pages under /docs”等触发。Crawl 可选 Light Crawl(MCP scrape_batch 加链接循环,≤50 页,约 $0.006/页)用于某个栏目,或 Full Crawl(Bright Data Crawl API api.brightdata.com/datasets/v3/trigger,$1.50/1K 页)用于整站。
限制:第 4 层代理有使用成本,不要用于第 1-3 层可访问的站点;CAPTCHA 求解会引入延迟,需为第 4 层预留额外时间。每次工作流完成后会向 ~/.claude/LIFEOS/MEMORY/SKILLS/execution.jsonl 追加一条 JSONL 执行日志。