SuperAPI AI 工具集

llava

通用与其它

查看项目

更新于 10-15 22:09

技能介绍

用途:LLaVA 是面向对话式图像理解的开源视觉语言模型,适用于构建视觉语言聊天机器人、视觉问答(VQA)、图像描述与字幕、多轮图像对话、视觉指令跟随以及带图像的文档理解。

主要能力:结合 CLIP 视觉编码器与 Vicuna/LLaMA 语言模型,支持图像与文本联合输入。提供 7B、13B、34B 等参数规模,Apache 2.0 许可,支持 4-bit/8-bit 量化以降低显存占用,并提供 CLI 与 Gradio Web UI。

使用方式:克隆仓库后执行 pip install -e . 安装;Python 中通过 load_pretrained_model 加载模型,配合 process_images、tokenizer_image_token 与 conv_templates 构造对话并调用 model.generate 生成回答。命令行示例:python -m llava.serve.cli --model-path liuhaotian/llava-v1.5-7b --image-file image.jpg --query "What is in this image?"。Web UI 可运行 python -m llava.serve.gradio_web_server 并按资料访问 http://localhost:7860。加载不同规模模型时可将路径替换为 liuhaotian/llava-v1.5-13b 或 liuhaotian/llava-v1.6-34b,load_4bit=True 可减少约 4 倍显存。

适用场景:图像字幕、视觉问答、文本式目标列举、场景理解与文档主题提问;多轮对话时保留上下文。

限制:可能产生幻觉,空间推理和精确位置判断较弱,小字号文本识别困难,物体计数不精确,需较强 GPU 且推理速度慢于 CLIP。资料中引用的基准分数包括 VQAv2 78.5%、GQA 62.0%、MM-Vet 35.4%、MMBench 64.3%。费用与价格信息暂未提供。