SuperAPI AI 工具集

apify-scrapers

编程与开发

查看项目

更新于 10-15 20:10

技能介绍

用途:通过 Apify actors 抓取主流社交平台与网页内容,并配套脚本用于线索生成、影响力人物发现、竞品分析、竞品广告情报和趋势分析。

主要能力:按平台提供抓取脚本,包括 Twitter/X、Reddit、LinkedIn、Instagram(profile/posts/hashtag/reels/comments)、Facebook(page/posts/reviews/groups/marketplace)、TikTok、YouTube;业务与地点类可抓取 Google Maps 商家搜索、地点详情与评论,以及从网站提取邮箱、电话和社交资料;支持按 URL 自动识别类型抓取。趋势分析支持速度评分、生命周期阶段与机会评分;竞品广告支持 Facebook 广告库与 Google 广告透明度,含花费估算、创意分析与基准对比。

使用方式:在 .env 中配置 APIFY_TOKEN=apify_api_xxxxx,令牌从 https://console.apify.com/account/integrations 获取。按需运行脚本,例如:python scripts/scrape_twitter_ai_trends.py --query "AI agents" --max-tweets 50;python scripts/scrape_instagram.py profile "https://instagram.com/username" --max-posts 20;python scripts/scrape_google_maps.py search "AI consulting firms in New York" --max-results 50;python scripts/scrape_competitor_ads.py "Nike" "Adidas" --compare --output comparison.json;python scripts/analyze_trends.py "artificial intelligence" --sources google instagram tiktok --days 90。抓取结果保存到 .tmp/ 下带时间戳的 JSON 文件。

限制与注意事项:需消耗 Apify 额度,资料给出各 actor 的每项成本估算,趋势分析约 $0.50-1.50/次运行。需遵守各平台服务条款、速率限制与 GDPR 等合规要求;仅抓取公开数据,不得绕过身份验证;令牌应妥善保管并定期轮换,不得提交至版本库或输出到日志。若运行失败、返回空结果、被限流、令牌无效或代理错误,可检查 actor ID、代理设置与额度,更换代理类型、简化查询或降低请求量后重试。具体 actor 配置与最新支持范围以 Apify 官方文档为准。