Qwen2-VL 是阿里云 Qwen 团队开发的多模态大语言模型系列。该 GitHub 仓库页面主要围绕其后续迭代版本 Qwen3-VL 展开介绍，称其为 Qwen 系列迄今最强大的视觉语言模型。该代在文本理解与生成、视觉感知与推理、上下文长度、空间与视频动态理解以及智能体交互能力方面进行了全面升级。
用途与定位 Qwen3-VL 面向多模态理解与生成任务，可用于视觉智能体操作 PC/移动端 GUI（识别元素、理解功能、调用工具、完成任务）、视觉编码（从图像/视频生成 Draw.io/HTML/CSS/JS）、高级空间感知（判断物体位置、视角与遮挡，提供更强的 2D 定位并支持 3D 定位，用于空间推理与具身 AI）、长上下文与视频理解（原生 256K 上下文，可扩展至 1M，支持处理书籍与数小时视频，具备完整召回与秒级索引）、增强的多模态推理（STEM/数学、因果分析与基于逻辑和证据的回答）、升级的视觉识别（可识别名人、动漫、产品、地标、动植物等）、扩展的 OCR（支持 32 种语言，较此前 10 种增加，在低光、模糊、倾斜情况下更稳健，对稀有/古文字与术语处理更好，并改进长文档结构解析）以及文本理解（与纯 LLM 相当，实现文本–视觉无损统一理解）。
主要能力 模型提供 Dense 与 MoE 两种架构，覆盖从边缘到云端的部署需求，并有 Instruct 与推理增强的 Thinking 版本。技术方面包含 Interleaved-MRoPE（通过稳健位置嵌入在时间、宽度和高度上全频率分配，增强长时视频推理）、DeepStack（融合多级 ViT 特征以捕捉细粒度细节并锐化图文对齐）以及文本–时间戳对齐（超越 T-RoPE，实现精确的、时间戳锚定的事件定位，增强视频时间建模）。
版本发布 2024.08.30 发布 Qwen2-VL 系列，2B 和 7B 模型可用，72B 开源模型即将推出。2024.09.19 发布指令微调的 Qwen2-VL-72B 及其量化版本（AWQ、GPTQ-Int4、GPTQ-Int8），同时发布 Qwen2-VL 论文。2024.12.25 发布 QvQ-72B-Preview 实验性研究模型，聚焦增强视觉推理。2025.01.28 发布 Qwen2.5-VL 系列。2025.02.20 发布 Qwen2.5-VL 技术报告，并提供 3B、7B、72B 的 AWQ 量化模型。2025.03.25 发布 Qwen2.5-VL-32B，更智能且响应更符合人类偏好。2025.04.08 提供 Qwen2-VL 和 Qwen2.5-VL 的微调代码。2025.09.23 发布 Qwen3-VL-235B-A22B-Instruct 和 Thinking 版本。2025.10.4 发布 Qwen3-VL-30B-A3B-Instruct 和 Thinking，以及 FP8 版本。2025.10.15 发布 Qwen3-VL-4B 和 8B（Instruct/Thinking）。2025.10.21 发布 Qwen3-VL-2B 和 32B（Instruct/Thinking）。2025.11.27 发布 Qwen3-VL 论文。
使用方式 页面提供了基于 🤗 Transformers 和 ModelScope 的聊天模型代码片段，建议中国大陆用户使用 ModelScope。通过官方 HF processor 可控制视觉 token 预算：图像处理器中 size['longest_edge'] 对应 max_pixels（图像最大像素数），size['shortest_edge'] 对应 min_pixels；视频处理器中 size['longest_edge'] 表示所有帧的总最大像素数（T×H×W 不超过该值），size['shortest_edge'] 设置视频最小总像素预算，还可控制采样 fps 或帧数。新版 qwen-vl-utils 支持按视觉输入控制像素约束，新增 "image_patch_size"（Qwen2.5-VL 为 14，Qwen3-VL 为 16，默认 14）和 "return_video_metadata"（仅 Qwen3-VL，若为 True 则视频返回 (video_tensor, video_metadata)，默认 False）。注意 qwen-vl-utils 已调整图像/视频大小，向 processor 传递 do_resize=False 以避免重复调整。
输入支持本地文件、base64 和 URL 图像；可指定精确尺寸（resized_height、resized_width，四舍五入到最近的 32 倍数，Qwen3VL 为 32，Qwen2.5VL 为 28）或定义 min_pixels 和 max_pixels 保持宽高比缩放。视频支持图像列表、本地路径和 URL，建议设置 min_pixels 和 max_pixels 限制帧分辨率，或使用 total_pixels 限制视频总 token 数（建议低于 24576×32×32）。qwen-vl-utils 支持三种视频解码后端：torchvision、decord、torchcodec，推荐 torchcodec（decord 存在解码挂起等问题且已不再维护）。非 Linux 环境可能无法从 PyPI 安装 decord，可 pip install qwen-vl-utils 回退到 torchvision；torchcodec 需手动安装且依赖 FFmpeg。可通过 FORCE_QWENVL_VIDEO_READER 切换后端。
可安装最新 Flash Attention 2 并在加载模型时设置 attn_implementation="flash_attention_2"（需硬件兼容，且模型以 torch.float16 或 torch.bfloat16 加载）。当前 config.json 上下文长度为 256K token，超过时可用 YaRN 扩展，修改 max_position_embeddings 和 rope_scaling；使用 vLLM 时可添加 --rope-scaling 和 --max-model-len。由于 Interleaved-MRoPE 位置 ID 增长较慢，应使用更小缩放因子，例如用 256K 长度支持 1M 上下文时设 factor=2 或 3 而非 4。
部署与推理 可使用 vLLM（需 vllm>=0.11.0 以支持 Qwen3-VL）或 SGLang 进行高效服务，并通过 OpenAI 风格 API 访问，页面提供图像请求、视频请求和离线推理示例。启动命令适用于 H100/H200，其他 GPU 请参考 vLLM 社区指南。还提供了基于 Web 的 UI 演示搭建步骤、预构建 Docker 镜像，以及带预构建环境的 Docker 镜像 qwenllm/qwenvl，仅需安装驱动并下载模型文件即可启动演示。
评测与微调 评测复现使用 vLLM 推理，评测框架为 VLMEvalKit 和 lmms-eval，部分基准测试的提示经过微调，少数基准为内部构建。页面提到提供 Qwen2-VL 和 Qwen2.5-VL 的微调代码。
适用场景与限制 适用于多模态对话、文档解析、视频理解、视觉智能体、OCR、空间推理等场景。限制方面：Flash Attention 2 需兼容硬件与特定数据类型；decord 后端存在已知问题且不再维护；torchcodec 依赖 FFmpeg；长上下文扩展需调整缩放因子；部分评测细节与内部基准的代码和复现材料计划后续发布。具体性能数据、收费标准、平台支持等信息暂未提供。
