SuperAPI AI 工具集

scrapingdog

数据与分析

查看项目

更新于 10-16 00:27

技能介绍

用途:ScrapingDog 是一个网页抓取 API,负责处理代理、无头浏览器和 CAPTCHA,帮助开发者从网站提取数据而无需自行管理抓取基础设施。本技能用于在 Membrane 环境中与 ScrapingDog 交互,管理数据和记录、自动化工作流。

主要能力:通过 Membrane 调用 ScrapingDog 的抓取任务并获取结果;使用动作名和参数执行操作;Membrane 自动完成认证和凭据刷新,并支持代理请求直接访问 ScrapingDog API,自动拼接基础 URL 并注入认证头。

使用方式:先安装 Membrane CLI:npm install -g @membranehq/cli@latest。登录:membrane login --tenant --clientName=<agentType>,无界面环境会输出授权 URL,完成后执行 membrane login complete <code>;任意命令加 --json 可获得机器可读输出。建立连接:membrane connection ensure "https://www.scrapingdog.com/" --json;若状态为 BUILDING,用 npx @membranehq/cli connection get <id> --wait --json 轮询至 READY,遇到 CLIENT_ACTION_REQUIRED 时按 clientAction 提示完成认证。查找动作:membrane action list --connectionId=CONNECTION_ID --intent "QUERY" --limit 10 --json。运行动作:membrane action run <actionId> --connectionId=CONNECTION_ID --json,传参用 --input '{"key": "value"}',结果位于 output 字段。代理请求:membrane request CONNECTION_ID /path/to/endpoint,可用 -X/--method、-H/--header、-d/--data、--json、--rawData、--query、--pathParam 等选项。

适用场景:需要从网站提取数据、管理抓取记录或自动化相关流程,且希望避免自行维护代理、无头浏览器与验证码处理时。

限制:资料未提供具体动作清单、支持平台、配额、定价和抓取效果等细节,暂未提供。使用前应优先通过动作列表发现已有能力,避免自行构造底层 API 调用。官方文档:https://www.scrapingdog.com/docs/。