SuperAPI AI 工具集

webscrapingai

编程与开发

查看项目

更新于 10-16 00:28

技能介绍

WebScraping.AI 是一个网页抓取平台,允许用户借助 AI 工具从网站提取数据,面向需要大规模采集与分析网络数据的企业和开发者。官方文档见 https://webscraping.ai/documentation/。本技能通过 Membrane CLI 与 WebScraping.AI 交互,Membrane 自动处理认证与凭据刷新,用户可专注于集成逻辑。

主要用途:在用户希望与 WebScraping.AI 数据交互时使用,涉及抓取(Scrape)、配置(Configuration)、提取(Extraction)、通知(Notification)、Webhook、运行(Run)、调度(Schedule)、账户(Account)、用量(Usage)等对象。

使用方式:先安装 CLI:npm install -g @membranehq/cli@latest。认证:membrane login --tenant --clientName=<agentType>;无头环境会打印授权 URL,用户在浏览器完成后执行 membrane login complete <code>。加 --json 可获得机器可读输出。

连接:membrane connection ensure "https://webscraping.ai/" --json,用户在浏览器完成认证后输出连接 id;若状态为 BUILDING,用 npx @membranehq/cli connection get <id> --wait --json 轮询至 READY。

查找动作:membrane action list --connectionId=CONNECTION_ID --intent "QUERY" --limit 10 --json,结果含 id、name、description、inputSchema、outputSchema。运行动作:membrane action run <actionId> --connectionId=CONNECTION_ID --json,传参用 --input '{"key": "value"}' --json,结果在 output 字段。

当现有动作无法覆盖需求时,可通过代理请求直接调用 API:membrane request CONNECTION_ID /path/to/endpoint,支持 -X/--method、-H/--header、-d/--data、--json、--rawData、--query、--pathParam 等选项,Membrane 自动附加基础 URL 并注入认证头。

限制与说明:以上为资料提供的操作方式;具体可用动作、参数与返回结构需通过 action list 实际查询确认。资料未提供 WebScraping.AI 本身的定价、配额或具体抓取能力细节,暂未提供。