SuperAPI AI 工具集

decodo-scraper

通用与其它

查看项目

更新于 10-15 20:35

技能介绍

用途:该技能通过 Decodo Web Scraping API 完成多种抓取任务,包括 Google 搜索、抓取任意网页、Amazon 商品页与搜索、YouTube 字幕、Reddit 帖子与子版块。

主要能力与输出:Google 搜索返回 JSON,results 键下可能包含 organic、ai_overviews、paid、related_questions、related_searches、discussions_and_forums 等分区,脚本只输出内层 results 对象,不含分页信息。抓取 URL 默认返回 Markdown。Amazon 商品页与 Amazon 搜索返回解析后的 JSON(如广告、商品信息、delivery_postcode)。YouTube 字幕返回 transcript。Reddit 帖子与子版块返回 JSON。

使用方式:需先设置环境变量 DECODO_AUTH_TOKEN(来自 Decodo Dashboard → Scraping APIs 的 Basic auth token),可放在环境或仓库根目录 .env 文件。命令统一为 python3 tools/scrape.py,按目标传参:google_search 用 --query;universal 用 --url;amazon 用 --url;amazon_search 用 --query;youtube_subtitles 用 --query(视频 ID);reddit_post 与 reddit_subreddit 用 --url。Google 搜索可选 --geo 与 --locale。

限制:失败时脚本向 stderr 写 JSON 错误并以退出码 1 结束。资料未提供收费、价格、平台支持范围或速率限制等信息。