SuperAPI AI 工具集

x-tweet-fetcher

数据与分析

查看项目

更新于 10-15 08:07

技能介绍

用途

X Tweet Fetcher 用于在不登录、不使用 X/Twitter API 密钥的前提下抓取 X/Twitter 的推文内容、回复线程和用户时间线,同时支持抓取中国平台(微博、Bilibili、CSDN、微信公众号)的页面内容,并提供无需 API 密钥的 Google 搜索能力。

主要能力

单条推文抓取(零依赖):支持普通推文全文与统计信息、Twitter Blue 长推文、X Articles 长文全文、引用推文,以及点赞/转发/浏览量等数据与图片、视频等媒体 URL。

回复线程抓取:使用 --replies 参数可抓取推文及全部回复(含嵌套回复),需要 Camofox。

用户时间线抓取:使用 --user <username> --limit 300 抓取用户最新推文,支持分页(MAX_PAGES=20),需要 Camofox。

中文平台抓取:fetch_china.py 根据 URL 自动识别平台。微信公众号文章直接通过 web_fetch 抓取,无需 Camofox;微博靠 Camofox 渲染 JS;Bilibili 抓取视频信息与统计;CSDN 抓取文章与代码块。知乎/小红书需要导入 cookie 登录。

Google 搜索(无需 API 密钥):通过 camofox_search("query") 或 camofox_client.py 使用 Camofox 直接检索 Google,返回标题、URL 与摘要。

用户资料分析:包含 x-profile-analyzer.py,需要 MiniMax M2.5 API 密钥进行 AI 分析。

使用方式

单条推文(JSON 输出): python3 scripts/fetch_tweet.py --url "https://x.com/user/status/123456"

纯文本输出:追加 --text-only;格式化 JSON:追加 --pretty。

抓取回复线程:python3 scripts/fetch_tweet.py --url "..." --replies

抓取用户时间线:python3 scripts/fetch_tweet.py --user <username> --limit 300

抓取中文平台:python3 scripts/fetch_china.py --url "https://..."

Google 搜索:python3 scripts/camofox_client.py "your search query"

作为库调用时,可从 scripts.fetch_tweet 导入 fetch_tweet,读取返回结果中的 tweet 与 replies 字段。

Camofox 安装与验证

方式一(OpenClaw 插件):openclaw plugins install @askjo/camofox-browser

方式二(手动): git clone https://github.com/jo-inc/camofox-browser cd camofox-browser npm install && npm start

验证:curl http://localhost:9377/health 应返回 {"status":"ok"}。

Camofox 是基于 Camoufox(带 C++ 层指纹伪装的火狐分支)的反检测浏览器服务,可绕过 Cloudflare 机器人检测、浏览器指纹识别和 JavaScript 挑战。其 REST API 提供创建标签页(POST /tabs)、获取页面快照(GET /tabs/<TAB_ID>/snapshot)和关闭标签页(DELETE /tabs/<TAB_ID>)。

适用场景

  • 需要在不登录、无 API 密钥的情况下采集 X/Twitter 公开内容。
  • 需要抓取推文回复与嵌套线程用于研究或分析。
  • 需要按用户拉取时间线数据。
  • 需要抓取微博、Bilibili、CSDN、微信公众号等中文平台内容。
  • 需要在无搜索 API 密钥时执行 Google 检索并获取结果摘要。

限制与要求

基础功能要求 Python 3.7+,无需外部包和 API 密钥。回复线程、时间线、X 以外的中文平台与 Google 搜索均需本地运行 Camofox 服务(localhost:9377)。微信公众号文章不需要 Camofox。知乎/小红书需要导入 cookie 登录。用户资料分析需要 MiniMax M2.5 API 密钥。工作原理上,基础推文使用 FxTwitter 公开 API,回复/时间线经 Camofox 访问 Nitter,中文平台由 Camofox 渲染 JS 后提取内容,Google 搜索由 Camofox 打开页面并解析结果。关于收费与价格的具体信息文中暂未提供。