用途:将任意网页抓取为干净的 Markdown 内容,基于 Bright Data 的 Web Unlocker API,自动绕过机器人检测与 CAPTCHA。
主要能力:自动处理反爬措施;绕过 CAPTCHA 挑战;返回格式良好的 Markdown;可处理 JavaScript 渲染较重的页面。
使用方式:先获取 API Key(Bright Data Dashboard),并在 brightdata.com/cp 创建 Unlocker zone;然后设置环境变量: export BRIGHTDATA_API_KEY="your-api-key" export BRIGHTDATA_UNLOCKER_ZONE="your-zone-name" 抓取命令:bash scripts/scrape.sh "url" 参数 url 为必填,即要抓取的网页地址。示例:bash scripts/scrape.sh "https://example.com/article"。
输出:返回从网页提取的干净 Markdown,包含标题、正文与章节标题等结构。
依赖:curl,用于发起 API 请求。
限制:需有效的 Bright Data API Key 与 Unlocker zone;具体收费、配额、速率限制及平台支持情况暂未提供。