SuperAPI AI 工具集

web-crawler

编程与开发

查看项目

更新于 10-16 09:35

技能介绍

用途:抓取网页与社媒数据。当 web_fetch 返回 401/403/429/5xx、遇反爬挑战页、页面依赖 JS 导致字段缺失,或搜索结果缺少目标字段时,改用本技能。

主要能力:exports.py 提供现成 helper,不要自己写代理请求,也无需查找或读取 API key(如 SCRAPECREATORS_API_KEY、FIRECRAWL_API_KEY、APIFY_TOKEN),代理会自动注入凭据。可用 scrape_markdown 抓网页正文;youtube_transcript 取字幕;sc_get 调 ScrapeCreators 各端点;archive_fallback 从 archive.today/Wayback 快照恢复付费墙文章;apify_run 调 Apify actor 抓取中国应用(抖音、小红书、微博、B站、知乎、豆瓣、雪球、优酷、京东、淘宝/天猫、1688、闲鱼等)及东南亚电商(Shopee、Lazada、Temu)与 Instagram stories。

用法:媒体字幕统一走 core.skill_tools.web_crawler.get_transcript(url, caller_id=...),它先尝试 RSS 转录、节目官方 YouTube 上传、网页抓取等元数据来源,失败时返回 found=False 并提示再询问用户。Apify 调用前须估算费用(结果数 × 单价 × 2),默认每次约 5 credits 封顶,可用 max_charge_usd 调整,首次测试建议 0.5。

限制:需要媒体文件或下载(yt-dlp 直接下载、ffmpeg、whisper)须先确认;私密账号、私信、粉丝列表无法获取;过期或私密 story 不可抓取;archive 仅能返回已保存快照,无快照时不要编造内容;快手、爱奇艺无已验证 actor。