用途
Kimi-VL 是一个开源的混合专家（MoE）视觉语言模型（VLM），面向多模态推理、长上下文理解以及智能体（Agent）能力。其语言解码器仅激活 2.8B 参数（Kimi-VL-A3B），属于高效型模型。
主要能力
- 通用视觉语言任务：涵盖细粒度感知、数学、大学级题目、OCR、智能体等，支持单图、多图、视频、长文档等多种输入形式。
- 多轮智能体交互：如 OSWorld 等任务，据项目说明可达到与旗舰模型相当的水平。
- 长上下文处理：配备 128K 扩展上下文窗口，项目报告 LongVideoBench 得分 64.5，MMLongBench-Doc 得分 35.1。
- 原生分辨率视觉编码器 MoonViT：可理解超高分辨率视觉输入，项目报告 InfoVQA 得分 83.2，ScreenSpot-Pro 得分 34.5。
- 长思考变体 Kimi-VL-Thinking：通过长链式思考（CoT）监督微调（SFT）与强化学习（RL）开发，项目报告 MMMU 61.7、MathVision 36.8、MathVista 71.3。
- Kimi-VL-A3B-Thinking-2506 变体：在多模态推理基准上报告更高准确率（MathVision 56.9、MathVista 80.1、MMMU-Pro 46.3、MMMU 64.0），平均思考长度减少 20%；在通用视觉感知与理解上也有提升（MMBench-EN-v1.1 84.4、MMStar 70.4、RealWorldQA 70.0、MMVet 78.4）；扩展至视频场景（VideoMMMU 65.2、Video-MME 71.9）；支持单图最高 320 万总像素（1792x1792），为原始版本的 4 倍，并报告 V* Benchmark 83.2、ScreenSpot-Pro 52.8、OSWorld-G 52.5。
架构
模型采用 MoE 语言模型、原生分辨率视觉编码器（MoonViT）和 MLP 投影器。
模型变体与推荐参数
项目提供多个变体：Kimi-VL-A3B-Instruct（推荐用于通用多模态感知与理解、OCR、长视频、长文档、视频感知和 OS-agent 的高效推理）、Kimi-VL-A3B-Thinking（长思考变体）以及 Kimi-VL-A3B-Thinking-2506。推荐参数设置：Thinking 模型建议 Temperature = 0.8；Instruct 模型建议 Temperature = 0.2。
使用方式
- 环境：推荐 python=3.10、torch=2.5.1、transformers=4.51.3。
- 可基于 Hugging Face Transformers 进行推理。若遇到显存不足或希望加速推理，可安装 flash-attn：pip install flash-attn --no-build-isolation。
- 微调：通过 LLaMA-Factory 支持，单 GPU LoRA 微调需 50GB 显存，也支持多 GPU full/lora 微调（DeepSpeed ZeRO-2）。
- 部署：vLLM 主分支已支持 Kimi-VL 部署，可使用 vllm serve 命令；同时支持离线推理与 OpenAI 兼容服务器。
- 演示：在 Hugging Face spaces 提供模型 demo。
更新时间线
- 2025.06.21：发布 Kimi-VL-A3B-Thinking-2506。
- 2025.04.15：vLLM 支持 Kimi-VL 部署（#16387）。
- 2025.04.14：LLaMA-Factory 支持 Kimi-VL 微调（#7719）。
限制
资料未说明具体许可证、商业化使用条款、训练数据来源及完整基准测试环境，暂未提供。
