Visual-RFT 是论文《Visual-RFT: Visual Reinforcement Fine-Tuning》与《Visual-ARFT: Visual Agentic Reinforcement Fine-Tuning》的官方代码库，已被 ICCV 2025 接收。
用途 Visual-RFT 首次将 DeepSeek-R1 的强化学习策略全面适配到多模态领域。它使用 Qwen2-VL-2/7B 作为基础模型，设计基于规则的可验证奖励，并与基于 GRPO 的强化微调框架结合，以提升大型视觉语言模型（LVLM）在多种视觉感知任务上的性能。
主要能力 Visual-RFT 将 R1 的推理能力扩展到多种视觉感知任务，包括开放词汇检测、少样本检测、推理定位和细粒度图像分类等。其核心特点包括：在有限数据下即可有效微调的视觉感知任务强化学习；针对不同视觉任务设计不同的可验证奖励，以极低代价实现高效、高质量的奖励计算；在细粒度图像分类、开放词汇目标检测、少样本目标检测和推理定位等任务上进行了大量实验；训练代码、训练数据和评估脚本全部开源。
Visual-ARFT 是后续工作，旨在使大型视觉语言模型具备灵活、自适应的智能体能力。借助 Visual-ARFT，开源 LVLM 能够浏览网站获取实时信息更新，并编写代码通过裁剪、旋转等图像处理技术来操作和分析输入图像。同时提出了多模态智能体工具基准（MAT），包含 MAT-Search 和 MAT-Coding 两种设置，用于评估 LVLM 的智能体搜索与编码能力。
使用方式 仓库提供训练代码，数据集上传至 HuggingFace。支持 HuggingFace Dataset 格式和 JSON 文件格式作为训练输入数据集。训练脚本位于 /src/scripts，无需长时间训练，数百样本的数据集约 200 步即可。训练中若遇到显存不足（OOM），可通过指定 --deepspeed 参数、降低 --num_generation、开启 --gradient_checkpointing 或降低训练图像分辨率来缓解。模型有监督微调（SFT）使用 LLaMa-Factory，可将下载的数据集转换为对应的 Qwen SFT 格式进行训练。评估方面提供 COCO、LVIS 和分类任务的评估代码，支持多 GPU 评估，至少需要两张 GPU。分类评估在程序运行结束后会显示正确分类数量，除以验证集长度得到准确率（Flower102: 2463，Pets37: 3669，stanford cars: 8041，fgvc-aircraft: 3333）。有时因环境问题，当 use_cache = None 时模型可能产生错误推理，可显式设置 use_cache = True。
适用场景 适用于视觉感知任务的研究与微调，包括细粒度图像分类、开放词汇目标检测、少样本目标检测、推理定位，以及多模态智能体的搜索与编码能力研究。
限制 数据和代码仅限研究使用，采用 Attribution-NonCommercial 4.0 International 许可，并应遵守 OpenAI 的使用政策。训练中 OOM 情况较常见，尤其是显存有限的 GPU；降低 --num_generation 可能带来性能下降。部分推理脚本中的文件路径和模型路径需要自行修改。
说明 关于具体定价、收费、平台、效果等更多事实，资料暂未提供。
