tribev2-brain-encoding
TRIBE v2 是 Meta 提出的多模态基础模型，用于预测自然刺激（视频、音频、文本）引发的 fMRI 脑响应。它将 LLaMA 3.2（文本）、V-JEPA2（视频）与 Wav2Vec-BERT（音频）编码器整合进统一 Transformer 架构，把多模态表征映射到皮层表面（fsaverage5，约 2 万个顶点）。模型以 Python 包 tribev2 形式提供，支持从 HuggingFace 加载预训练权重 facebook/tribev2 进行推理，也可用 PyTorch Lightning 从头训练。推理流程为：构建事件 DataFrame、调用 predict 得到 (时间步数, 顶点数) 的预测矩阵与分段元数据，并可用 Nilearn 或 PyVista 后端做皮层表面可视化。支持视频、音频、文本及其组合输入，含仅文本预测、批量视频预测、按 ROI 提取响应等常见用法，同时提供 MNI 到 fsaverage 的投影与 ROI 掩码工具。训练依赖 Slurm 分区、W&B 等，需申请 LLaMA 3.2 的 HuggingFace 访问权限。已知限制包括显存不足、无音轨视频报错、缺少可视化依赖等问题，均有对应处理说明。