SuperAPI AI 工具集

bggg-data-x

数据与分析

查看项目

更新于 10-15 20:06

技能介绍

用途:在用户已登录的 Chrome 中,从 X 可见的渲染搜索结果页采集公开帖子,保存可审计的原始证据,并在本地规范化为统一 JSONL,供下游 VOC 分析使用。属于 bggg VOC 系列,与 bggg-data-amazon、bggg-data-reddit、bggg-voc-report、industry-orchestrator 共用同一项目结构。

项目落点:config/x_queries.tsv → work/x/(请求计划、逐查询 source package)→ data/raw/x_multi_<date>.jsonl。所有命令从项目根目录执行。

主要能力:准备 TSV 查询文件(字段如 query、lang、round、max_rows、sort);用 python3 scripts/build_query_plan.py 生成确定性请求计划;通过 Chrome 插件在可见 DOM 上逐查询采集;每个查询后立即保存未修改的原始包(如 work/x/source_json/001_EN.json);用 python3 scripts/normalize_x_dom.py 合并、解析互动数、去重并输出规范化 JSONL 与摘要。

用法要点:须显式选择用户的 Chrome 并复用浏览器绑定,先在首个查询上验证 DOM 契约再扩展。必需选择器包括 article[data-testid="tweet"]、[data-testid="tweetText"]、[data-testid="User-Name"]、a[href*="/status/"] 内的 time[datetime]、time[datetime]、[role="group"][aria-label]。若必需选择器返回零而页面确有帖子,应停止并检查当前 DOM。

质量与安全:只读可见 DOM,不拦截或解析 GraphQL/REST;不读取、导出或持久化 cookies、token、local storage、凭据或配置文件;保留原文、Tweet ID、规范 URL、时间戳、作者、互动标签、查询与语言提示;按 Tweet ID 去重但保留每次查询观察;区分消费者、推广者、赞助 UGC、媒体与品牌;优先多个窄查询而非单个巨型 OR 查询;默认单标签页顺序查询;遇到挑战页、可疑登录、限流或空白时间线应停止并记录失败;不得发帖、点赞、关注、回复、收藏或修改账号设置;任务结束关闭标签页。

规模建议:默认每查询上限 250 条;每次滚动约 1500 px,等待 850–1500 ms;连续 6 次滚动无新 Tweet ID 即停止,并设硬性滚动上限(如 180 次)。将 X 搜索视为可见样本而非全量普查,并披露搜索可见性限制与查询/日期切片方案。

限制与降级:X 搜索仅代表可见样本,非完整普查;若已登录会话不可用或被 X 拦截,保留查询计划与失败日志,不得用搜索摘要替代原文,引用须回原页面复核。收费、价格等信息暂未提供。