用途:Crawlbase 是面向开发者的网页抓取 API,用于从网站提取数据,并代为处理代理、验证码和 JavaScript 渲染,适合需要网页数据进行分析或应用的数据科学、研究和商业场景。官方文档:https://crawlbase.com/docs/
主要能力:Crawlbase 提供抓取任务(Crawling Jobs)及其结果查询,账号与剩余额度(Credits)信息,以及云端存储管理。可通过站点提供的动作执行抓取 URL、以 POST 方式抓取、获取账号统计、获取与批量获取已存结果、按请求 ID(RID)获取或删除结果、批量删除结果、列出已存 RID、统计存储总数等。
使用方式:本技能通过 Membrane CLI 与 Crawlbase 交互,由 Membrane 处理认证与凭据刷新。安装:npm install -g @membranehq/cli@latest。登录:membrane login --tenant --clientName=<agentType>,无交互环境会输出授权 URL,完成后执行 membrane login complete <code>;任意命令可加 --json 获得机器可读输出。建立连接:membrane connection ensure "https://crawlbase.com/" --json,随后在浏览器完成认证;若状态为 BUILDING 可用 npx @membranehq/cli connection get <id> --wait --json 轮询至 READY。查找动作:membrane action list --connectionId=CONNECTION_ID --intent "QUERY" --limit 10 --json。运行动作:membrane action run <actionId> --connectionId=CONNECTION_ID --input '{"key": "value"}' --json。动作未覆盖时可通过代理直接请求:membrane request CONNECTION_ID /path/to/endpoint,支持 -X/--method、-H/--header、-d/--data、--json、--rawData、--query、--pathParam 等选项。
限制:资料未提供具体的抓取配额、价格、速率限制、支持平台及效果保证;批量获取存储结果单次上限为 100 个 RID。建议优先使用预置动作而非手写 API 请求,认证凭据由 Membrane 管理,无需向用户索要 API 密钥或令牌。