SuperAPI AI 工具集

twitter-scraping

编程与开发

查看项目

更新于 10-16 07:23

技能介绍

用途:在不使用 X/Twitter 官方 API 的情况下抓取 X 数据,方式包括 Puppeteer stealth 浏览器自动化与浏览器控制台脚本。

认证:所有抓取器都需要从 x.com 获取 auth_token cookie(DevTools → Application → Cookies 复制 auth_token 值)。

Node.js API:安装 npm install xactions,可从 src/scrapers/index.js 导入 createBrowser、createPage、loginWithCookie、scrapeProfile 等函数。主要函数包括 scrapeProfile(资料:简介、粉丝、关注)、scrapeFollowers、scrapeFollowing、scrapeTweets、searchTweets、scrapeHashtag、scrapeThread、scrapeMedia,以及 exportToJSON / exportToCSV 导出。使用后需调用 browser.close()。

浏览器控制台脚本:为独立 IIFE,粘贴到 x.com 的 DevTools 控制台即可,无依赖。覆盖下载视频、导出书签、展开线程、查找爆款推文、抓取粉丝/关注/资料/搜索/话题标签/点赞/点赞者/回复/媒体/私信/通知/列表/书签、导出 CSV、链接抓取、引用转推等,需先导航到对应页面。

交互式工具箱:推荐 scripts/twitter/scraper-toolbox.js,提供页面控制面板(开始/暂停/停止、实时过滤、用户排除、关键词规则),捕获 X 自身 GraphQL 响应,计数为精确整数且长文不截断,支持导出 JSON/CSV/Markdown/TXT/HTML 并复制到剪贴板,适用于个人资料、搜索、列表、点赞、书签、主页等任意时间线。

MCP 工具:面向 AI 智能体提供 x_get_profile、x_get_followers、x_get_following、x_get_tweets、x_search_tweets、x_get_thread、x_download_video。

限制与注意:浏览器脚本在页面导航时会停止,运行期间需停留在当前页面;内置速率限制,请勿将延迟调低于默认值;可通过增大 limit 参数进行更深抓取(默认值因函数而异)。