R1-Omni 是一个专注于可解释全模态情绪识别的开源项目，由 HumanMLLM 团队开发。其核心创新在于将可验证奖励强化学习（RLVR）首次应用于全模态大语言模型，以情绪识别这一视觉与音频模态均至关重要的任务为切入点，验证 RLVR 与全模态模型结合的潜力。
主要能力
根据项目资料，R1-Omni 展现出以下关键特性：
- 增强的推理能力：能够更清晰地理解视觉和音频信息如何贡献于情绪识别。
- 提升的理解能力：相比 SFT，RLVR 显著提升了情绪识别任务的性能。
- 更强的泛化能力：RLVR 模型在分布外场景中表现尤为突出。
项目已开源多个模型，包括基础模型 HumanOmni-0.5B、冷启动模型 EMER-SFT、在 MAFW 和 DFEW 训练集上直接微调的 MAFW-DFEW-SFT，以及最终模型 R1-Omni。模型在情绪识别数据集上的表现使用符号标注数据是否为分布内（⬤，DFEW 和 MAFW）或分布外（△，RAVDESS）。
使用方式
项目提供了环境设置和推理步骤：
- 代码基于 R1-V 框架，环境要求包括 Nvidia-driver 535.54、torch 2.5.1+cu124、torchvision 0.20.1+cu124、torchaudio 2.5.1+cu124、transformers 4.49.0、flash_attn 2.7.4。
- 推理代码基于 HumanOmni 实现。需下载所需模型：siglip-224、whisper-large-v3、bert-base-uncased，并更新配置文件中的路径。
- 提供 inference.py 用于单视频推理。
- 冷启动阶段在由 232 个 Explainable Multimodal Emotion Reasoning 数据集样本和 348 个 HumanOmni 数据集样本组成的组合数据集上微调 HumanOmni-0.5B。
- 第二阶段使用 MAFW 和 DFEW 数据集训练集，共 15,306 个视频样本。
适用场景
适用于情绪识别研究，特别是需要结合视觉和音频模态进行可解释情绪推理的场景，以及探索 RLVR 在全模态模型中的应用。
限制
项目资料中未提供收费、价格、平台、效果或具体使用步骤等细节，部分更新（如单视频和单音频模态推理、7B 版本结果、训练数据开源）尚在计划中，暂未提供。
