SuperAPI AI 工具集

twitter-crawler

数据与分析

查看项目

更新于 10-15 22:14

技能介绍

用途:爬取指定 Twitter 用户的推文,保存为 Markdown 格式,可选同时输出 JSON。

主要能力:可设置获取推文数量(默认10)、页数(默认1,每页约20条)、输出文件路径(默认 outputs/{用户名}.md)、自定义 Markdown 标题;可通过 --fields 选择包含字段(text、time、likes、retweets、replies、views、url、media);可跳过用户信息、指定 auth_token。输出 Markdown 含用户信息与推文列表,JSON 含 user、tweets、fetched_at 等结构。

使用方式:进入 ~/.claude/skills/twitter-crawler,运行 python3 scripts/fetch_tweets.py <用户名> [选项]。常用选项:-n/--limit、-p/--pages、-o/--output、--json、--interval、--no-user-info、--title、--fields、--auth-token。auth_token 默认从 ~/Documents/trend-crawler-master/trend-crawler/config.yaml 读取,也可在 ~/.claude/skills/twitter-crawler/config.yaml 中配置 twitter_accounts.auth_token。

限制:依赖 tweety-ns(从 trend-crawler 项目的 venv 加载)与 pyyaml;受 Twitter API 频率限制,默认请求间隔 5 秒并带 0.5-2 秒随机抖动,超 20 条自动分页;auth_token 可能过期需更新;不配置 auth_token 可用访客模式但可能受限。其他未提供信息暂未提供。