VLM-R1 是一个稳定且可泛化的 R1 风格大型视觉语言模型项目，目标是解决视觉理解问题。项目基于 DeepSeek-R1 的思路，提出了 VLM-R1，并在 GitHub 上开源。
用途方面，VLM-R1 主要用于训练和评估大型视觉语言模型，特别是在 Referring Expression Comprehension（REC）、开放词汇检测（OVD）、数学多模态推理、GUI 缺陷检测等任务上。项目对比了 R1 与 SFT 两种训练方式，发现在域内测试数据上，训练步数较少（100–600 步）时 SFT 模型性能变化不大，而 R1 模型稳步提升；在域外测试数据上，SFT 模型随步数增加性能略有下降，而 RL 模型能够将推理能力泛化到域外数据。
主要能力包括：支持 GRPO 全量微调（run_grpo_rec.sh）、冻结视觉模块（将 freeze_vision_modules 设为 true）、LoRA 微调（run_grpo_rec_lora.sh）、多节点训练（multinode_training_demo.sh）、多图像输入训练（run_grpo_gui.sh），以及支持自定义数据。模型方面目前支持 QwenVL 和 InternVL，并可按照指引添加新模型。项目还提供了 VLM-R1 Math、VLM-R1-OVD、VLM-R1 REC 等模型权重与演示。VLM-R1 Math 模型在 Open-Compass Math 排行榜（4B 参数以下）登顶；VLM-R1-OVD 在 OVDEval 上达到 state-of-the-art；REC 模型在域外数据和一系列推理-定位任务上表现优越；GUI 缺陷检测模型在准确率和泛化能力上优于基座和 SFT 模型。
使用方式：对于 REC 任务，需下载 COCO Train2014 图像并解压（记为 <your_image_root>），下载 RefCOCO/+/g 与 LISA-Grounding 标注文件并解压（LISA-Grounding 用于域外评估），修改 run_scripts/run_grpo_rec.sh 中的 data_paths 和 image_folders，然后运行 bash run_scripts/run_grpo_rec.sh。若遇到 CUDA out of memory 错误，可尝试降低 per_device_train_batch_size。多节点训练参考 multinode_training_demo.sh。SFT 模型使用 LLaMA-Factory 训练，需克隆仓库、安装依赖，并下载提供的 dataset_info.json、mllm_rec_json.json 和 qwen2_5_vl_full_sft.yaml，将 json 文件放入 LLaMA-Factory/data，yaml 文件放入 LLaMA-Factory/examples/train_full，然后运行训练命令。自定义数据支持 jsonl 格式，位于 src/open-r1-multimodal/src/open_r1/grpo_jsonl.py，图像路径相对于 --image_folders 指定目录，多图像输入有专门格式，多数据文件与图像文件夹可用 ":" 分隔。多图像输入示例见 run_grpo_gui.sh，用于分析用户操作前后的两张 GUI 截图以判断是否存在 UI 交互缺陷，数据来自 GUI-Testing-Arena。
适用场景包括：复现和扩展 R1 风格视觉语言模型训练、研究强化学习对多模态推理和定位任务的泛化影响、在 REC/OVD/数学/GUI 等任务上训练和评估模型、在华为昇腾 Atlas 800T A2 和 Atlas 300I Duo 等硬件上部署推理（通过 vllm-ascend 或 xllm 框架，README 位于 ascend_inference 对应目录）。项目还提供了技术报告、博客、演示和详细的更新记录。
限制方面，资料中未说明收费、价格或商业授权信息；部分功能（如自定义奖励函数、新模型支持）需要用户自行修改代码或提交 PR；具体性能数值和完整使用步骤需参考仓库内文档与脚本。
