SuperAPI AI 工具集

llava

设计与创作

查看项目

更新于 10-16 02:32

技能介绍

用途:LLaVA(Large Language and Vision Assistant)是开源视觉语言模型,面向对话式图像理解,适合构建视觉语言聊天机器人、视觉问答(VQA)、图像描述与字幕、多轮图像对话、视觉指令跟随以及带图像的文档理解。

主要能力:支持图像描述、视觉问答、文本形式的目标列举、场景理解与文档主题理解;提供 7B、13B、34B 等参数规模,官方称目标为 GPT-4V 级能力,采用 Apache 2.0 许可。

使用方式:克隆仓库后执行 pip install -e . 安装。可通过 Python 加载模型(如 liuhaotian/llava-v1.5-7b)并处理图像、构造对话模板生成回答;也可用 CLI 单图查询或多轮交互,或启动 Gradio Web UI(默认 http://localhost:7860)。支持 4-bit、8-bit 量化以降低显存占用,并可分两阶段训练自定义模型。

适用场景:需要本地部署、可定制、开源许可的图像对话与理解任务。

限制:可能产生幻觉,空间推理、细小文字识别与物体计数不够精确;需要 GPU,CPU 推理极慢;显存需求较高(7B 约 14GB,34B 约 70GB,量化后可降低);推理速度慢于 CLIP。官方建议从 7B 模型起步,温度 0.2-0.7,max_new_tokens 512-1024。具体收费与价格暂未提供。