SuperAPI AI 工具集

pp-scrape-do

编程与开发

查看项目

更新于 10-16 01:32

技能介绍

用途:该技能驱动 scrape-do-pp-cli 二进制,为需要 Google 搜索结果、结构化 SERP 数据或经 Scrape.do 代理网页抓取的任务提供命令行入口,尤其适合多个智能体共用同一 Scrape.do 账号的场景,用于控制额度消耗与并发安全。

主要能力:覆盖 Scrape.do 核心抓取器与 Google 全家桶(search、maps、news、shopping、flights、hotels、trends),并提供离线 SQLite 历史。governor 在每次调用前用 cost 估算额度,用 budget 依据权威费用头记本地账本并跟踪消耗,按套餐实时并发上限做闸门。离线 SERP 情报包括 drift(对比某查询最近两次存储结果,看哪些结果移动、出现或消失)和 movers(扫描所有跟踪查询的最新与上次快照,列出排名变动超过阈值的查询),均不消耗额度。batch 通过共享并发租约与逐次调用账本派发 URL 或查询列表,仅自动重试不计费的 429/502/510,并在触及额度上限前停止。account 查看账号状态、并发余量与月度额度。

使用方式:先安装,npx -y @mvanhorn/printing-press-library install scrape-do --cli-only,验证 scrape-do-pp-cli --version;失败可回退 go install github.com/mvanhorn/printing-press-library/library/developer-tools/scrape-do/cmd/scrape-do-pp-cli@latest。API 令牌以 SCRAPEDO_API_KEY 环境变量提供,同一令牌驱动所有接口,可用 doctor 验证。任意命令加 --agent 展开为 --json --compact --no-input --no-color --yes。可用 --select 按点路径裁剪字段,--dry-run 预览请求。本地存储与 API 读取结果套在 meta/results 信封中。支持 --deliver 输出到 stdout、file:<path>、webhook:<url>,并支持命名 profile 保存常用标志组合。

适用场景与限制:适合 SERP 抓取、汇率式额度预算管理、多智能体并发抓取与排名变动追踪。该 CLI 只读,不用于创建、更新、删除、发布、评论、点赞、邀请、下单、发送消息等改变远端状态的操作;scrape、google、batch 会发出计费的 GET 请求消耗账号额度。MCP 安装方式为 go install .../scrape-do-pp-mcp@latest 并注册。其他未在资料中说明的价格、平台或效果暂未提供。