SuperAPI AI 工具集

just-scrape

编程与开发

查看项目

更新于 10-16 06:44

技能介绍

用途:just-scrape 是 ScrapeGraph AI 的 AI 网页抓取 CLI,用于抓取网站、提取结构化数据、搜索、爬取与浏览器自动化。

主要能力:smart-scraper 从指定 URL 提取结构化数据;search-scraper 搜索并提取结果;markdownify 将网页转为干净 Markdown;crawl 多页爬取并逐页提取;scrape 获取原始 HTML;agentic-scraper 执行登录、点击、填表等浏览器动作;generate-schema 由描述生成 JSON Schema;sitemap 获取站点全部 URL;另有 credits、history、validate。

安装与配置:npm install -g just-scrape@latest(或 pnpm/yarn/bun 对应命令,也可用 npx/bunx 免安装运行)。设置 export SGAI_API_KEY="sgai-..."。密钥解析顺序为环境变量、.env、~/.scrapegraphai/config.json、交互式提示。

常用参数:所有命令支持 --json;抓取类命令支持 --stealth(绕过反爬,+4 额度)、--headers、--schema。smart-scraper 还支持 --scrolls、--pages、--cookies、--plain-text。crawl 支持 --max-pages、--depth、--rules、--no-sitemap、--no-extraction。agentic-scraper 用 -s 传逗号分隔步骤,可配 --ai-extraction、--use-session。

额度:--stealth 每次 +4;scrape 的 --branding +2;search-scraper 提取 10/次,--no-extraction 为 2/次;crawl --no-extraction 为 2/页。环境变量还有 JUST_SCRAPE_TIMEOUT_S(默认 120)与 JUST_SCRAPE_DEBUG。

限制:需自备 API Key 并消耗额度;具体价格、平台支持范围与效果资料未提供。