SuperAPI AI 工具集

research-brightdata

数据与分析

查看项目

更新于 10-16 06:23

技能介绍

用途:该技能在用户提出研究网页数据、抓取网站、提取网页数据、市场调研、竞品分析等需求时启用,基于 Bright Data MCP 完成搜索发现、内容采集、结构化数据提取与综合分析,并具备反爬保护与浏览器自动化支持。

主要能力:search_engine 用于搜索发现,支持 google/bing/yandex 引擎与 cursor 翻页,可用 site:、精确短语、排除词等策略;scrape_as_markdown 获取干净 Markdown,scrape_as_html 获取原始 HTML;extract 通过 extraction_prompt 做 AI 结构化提取,常见字段如商品名、价格、评分、评论数、卖家、库存,或文章标题、作者、日期、要点,或公司名称、行业、成立时间、总部、员工数;scrape_batch 并行处理最多 10 个 URL;scraping_browser_navigate、scraping_browser_click、scraping_browser_links 用于 JavaScript 渲染页面、点击交互与链接发现。

使用方式:按六阶段工作流执行——查询分析、来源发现、内容采集、数据提取、分析综合、报告生成。采集分三档:快速模式逐个 scrape_as_markdown(3-5 个 URL);标准模式用 scrape_batch 并行(10-20 个 URL);深度模式用浏览器工具(20-50 个 URL)。输出可选 report(执行摘要、发现、分析、方法、来源)、json(结构化数据与元数据)、markdown(表格列表与来源链接)。

适用场景:电商市场调研、价格比较、学术文献综述、竞品情报等。

限制:需配置 Bright Data MCP 服务器与有效 API Token,受 API 速率限制;浏览器自动化较慢,部分站点仍可能拦截;质量取决于来源内容。大页面批量抓取易触发 token 上限,建议每次 1-2 个 URL;该上限为 Claude Code 硬限制,无法通过配置提高。应遵守 robots.txt、限速并正确引用来源。