SuperAPI AI 工具集

brightdata

数据与分析

查看项目

更新于 10-16 00:30

技能介绍

用途:当用户要求抓取或获取某个 URL 内容,或遇到站点无法访问、被拦截、出现 CAPTCHA、403 错误等情况时,该技能按四级渐进策略获取网页内容,并尽量以 markdown 格式返回。

主要能力:四级回退。第一级 WebFetch,适用于简单公开站点;第二级自定义 curl,使用类似 Chrome 的浏览器请求头绕过基础机器人检测;第三级浏览器自动化,基于 Playwright 处理依赖 JavaScript 渲染的动态站点;第四级 Bright Data MCP(mcp__Brightdata__scrape_as_markdown),用于存在 CAPTCHA、高级机器人检测或需要住宅代理的站点。仅在上一级失败时才升级,以节省资源。

使用方式:用户说出“scrape this URL”“fetch this page”“can't access this site”“use Bright Data to fetch”等触发语后,读取 ${PAI_DIR}/skills/brightdata/workflows/four-tier-scrape.md 并执行四级流程。若用户明确要求使用 Bright Data,则直接进入第四级。

适用场景:研究或分析所需的网页内容提取、标准方法失败时的备用抓取、站点有机器人检测或限流、需要将网页转为结构化 markdown。

限制:资料未提供配置要求、收费、价格、平台支持范围及具体效果保证;所有工具在 Claude Code 中默认可用,无需额外配置。输出为 markdown,不保证所有站点均可成功抓取。