SuperAPI AI 工具集

@554/web-crawler

通用与其它

查看项目

更新于 10-16 09:59

技能介绍

用途:在普通网页抓取被拦截或信息不完整时,改为调用本技能提供的现成助手抓取公开网页与社交媒体数据。资料称其为网页抓取加社交数据,覆盖 YouTube、TikTok、Instagram、LinkedIn、Reddit、Threads 等平台,并提供稳健的网页回退提取。

主要能力与用法:优先调用 exports.py 中的封装函数,而不是自行编写请求。资料给出的示例包括:scrape_markdown 用于 Firecrawl 回退抓取网页;youtube_transcript 获取 YouTube 字幕;sc_get 调用 ScrapeCreators 的任意端点;archive_fallback 用于付费墙或 Firecrawl 返回 403 的场景。社交平台端点按 /v1/平台/动作 命名,参数可用 handle、url 等,并可用 caller_id 进行成本追踪。

触发与回退规则:当普通抓取返回 401/403/429/5xx、遇到反爬挑战页(如 Cloudflare)、页面为 JS 重度渲染导致关键字段缺失,或搜索结果不含所需字段时,应改用本技能。普通抓取被拦截或结果不完整时,先切换到 Firecrawl 回退,再考虑让用户提供截图或手动文本。付费墙场景按 archive.today、Wayback Machine 的顺序尝试存档快照;若无快照应告知用户,而不是编造内容。

凭证与限制:资料称无需用户提供 API key,代理会自动注入凭证,脚本中不应读取 $SCRAPECREATORS_API_KEY、$FIRECRAWL_API_KEY 或检查 .env,也不要向用户索要密钥。Firecrawl 仅作单页回退,不使用其 crawl/map/search/agent/browser 端点,也不请求截图、音频、品牌、图片或浏览器操作。资料提到中国应用及东南亚电商等平台可用 Apify 回退,涉及按结果计费与费用上限,具体价格与参数以 reference/apify-pricing.md 为准。未在资料中说明的收费、价格、效果或具体支持范围,暂未提供。