SuperAPI AI 工具集

llava

设计与创作

查看项目

更新于 10-15 19:53

技能介绍

用途:LLaVA(Large Language and Vision Assistant)是开源视觉语言模型,用于构建视觉语言聊天机器人、视觉问答(VQA)、图像描述与字幕、多轮图像对话、视觉指令跟随以及带图像的文档理解。

主要能力:结合 CLIP 视觉编码器与 Vicuna/LLaMA 语言模型,支持图像输入的多轮对话;提供 7B、13B、34B 等模型规模;支持 4-bit/8-bit 量化以降低显存占用;提供 CLI 与 Gradio Web UI;支持两阶段自定义训练(特征对齐与视觉指令微调)。

使用方式:克隆仓库并安装:git clone https://github.com/haotian-liu/LLaVA,cd LLaVA,pip install -e .。可通过 Python 加载模型(如 liuhaotian/llava-v1.5-7b)并调用 generate 生成回答;也可用 CLI:python -m llava.serve.cli --model-path liuhaotian/llava-v1.5-7b --image-file image.jpg --query "What is in this image?";或启动 Gradio:python -m llava.serve.gradio_web_server --model-path liuhaotian/llava-v1.5-7b --load-4bit。

适用场景:图像问答、图像描述、场景理解、文档图像理解、多轮图像对话等。

限制:可能产生幻觉,空间推理与精确位置判断较弱,小字识别困难,物体计数不精确;需要 GPU,CPU 推理极慢;显存需求较高(7B 约 14GB FP16,34B 约 70GB FP16);推理速度慢于 CLIP。模型与许可等更多细节以官方资料为准。