LLaVA（Large Language and Vision Assistant）是一个端到端训练的大型多模态模型，旨在连接视觉编码器与大型语言模型，实现通用的视觉和语言理解。该项目探索了在多模态领域中使用机器生成的指令跟随数据进行指令微调的方法。
用途
LLaVA主要用于多模态对话和视觉理解任务，包括日常用户导向的视觉聊天、科学问答等。它能够处理图像和文本的组合输入，并生成相应的文本回复。
主要能力
- 多模态指令跟随：LLaVA能够理解图像内容并遵循自然语言指令，执行对话、详细描述和复杂推理等任务。
- 视觉聊天：在生成的 multimodal instruction-following 数据上微调后，LLaVA可用于日常用户导向的应用，展现出类似多模态GPT-4的对话能力。
- 科学问答：在Science QA数据集上微调后，LLaVA单独达到90.92%的准确率；结合GPT-4作为评判者，协同达到92.53%的新最先进准确率。
- 性能表现：在包含30张未见图像的评估数据集上，LLaVA相对于GPT-4达到85.1%的相对分数，表明自指令方法在多模态设置中的有效性。
使用方式
LLaVA的模型架构连接了预训练的CLIP ViT-L/14视觉编码器和大型语言模型Vicuna，通过一个简单的投影矩阵实现。训练分为两个阶段：
- 阶段一：特征对齐预训练：仅更新投影矩阵，基于CC3M的子集。
- 阶段二：端到端微调：同时更新投影矩阵和LLM，针对两种使用场景：视觉聊天（在生成的多模态指令跟随数据上微调）和Science QA（在多模态推理数据集上微调）。
项目开源了GPT-4生成的视觉指令微调数据、模型和代码库。数据包括158K个独特的语言-图像指令跟随样本，分为对话（58K）、详细描述（23K）和复杂推理（77K）三个子集，可在HuggingFace数据集上获取（LLaVA-Instruct-150K）。模型和代码库也公开可用。
适用场景
- 多模态对话系统开发
- 视觉问答研究
- 科学领域多模态推理
- 视觉指令跟随研究
限制
根据使用和许可声明，数据、代码和检查点仅限研究使用，并受CLIP、LLaMA、Vicuna和GPT-4的许可协议限制。数据集采用CC BY NC 4.0许可（仅允许非商业使用），使用该数据集训练的模型不得用于研究以外的目的。
