LLaVA（Large Language and Vision Assistant）是一个开源视觉语言模型，面向对话式图像理解，支持视觉指令微调与基于图像的对话。它结合 CLIP 视觉编码器与 Vicuna/LLaMA 语言模型，采用 Apache 2.0 许可，提供 7B 至 34B 多种参数规模。
用途 适用于构建视觉语言聊天机器人、视觉问答（VQA）、图像描述与字幕生成、多轮图像对话、视觉指令跟随，以及带图像的文档理解。若追求最高质量可考虑基于 API 的 GPT-4V；仅需简单零样本分类可用 CLIP；仅做字幕生成可用 BLIP-2；Flamingo 为研究用途且非开源。
主要能力 支持图像描述、视觉问答、文本形式的物体列举、场景理解与文档理解等常见任务。提供多轮对话能力，可在同一图像上连续追问。模型规模包括 LLaVA-v1.5-7B（约 14 GB 显存，质量良好）、LLaVA-v1.5-13B（约 28 GB，更好）、LLaVA-v1.6-34B（约 70 GB，最佳）。支持 4-bit 量化（显存约降至 1/4）与 8-bit 量化（约降至 1/2）。在 VQAv2 上达 78.5%、GQA 62.0%、MM-Vet 35.4%、MMBench 64.3%。
使用方式 安装：克隆仓库 https://github.com/haotian-liu/LLaVA 并执行 pip install -e .。可通过 Python API 加载模型（如 liuhaotian/llava-v1.5-7b）并生成回复；也可使用 CLI（python -m llava.serve.cli）进行单图查询或多轮交互；还可启动 Gradio Web UI（python -m llava.serve.gradio_web_server，默认访问 http://localhost:7860）。训练自定义模型分两阶段：特征对齐（scripts/v1_5/pretrain.sh）与视觉指令微调（scripts/v1_5/finetune.sh）。可与 LangChain、Gradio 等框架集成。
适用场景与限制 需要 GPU，CPU 推理极慢。建议从 7B 模型起步，使用 4-bit 量化降低显存，温度设为 0.2-0.7，max_new_tokens 设为 512-1024。存在幻觉（可能描述图像中不存在的内容）、空间推理弱、小字识别困难、物体计数不精确、显存需求高、推理速度慢于 CLIP 等限制。使用前应确认 GPU 显存、模型检查点与许可、框架版本及输入格式；先在小样本上低分辨率或短长度试运行；对结果做质量与指标验证，并检查生成内容的许可限制。
资源 GitHub：https://github.com/haotian-liu/LLaVA（23,000+ 星）；论文：https://arxiv.org/abs/2304.08485；演示：https://llava.hliu.cc；模型：https://huggingface.co/liuhaotian；许可：Apache 2.0。