Perception-R1 是一个面向视觉感知任务的强化学习后训练框架，由论文《Perception R1: Pioneering Perception Policy with Reinforcement Learning》提出，官方代码托管于 GitHub。本项目旨在利用强化学习提升多模态大语言模型（MLLM）在视觉感知任务上的表现。
用途方面，Perception-R1 专注于视觉感知策略的优化，通过 Group Relative Policy Optimization（GRPO）在 MLLM 后训练阶段进行可扩展的强化学习。其目标是在 grounding、counting、detection 等感知任务中提升模型的视觉理解能力。
主要能力包括：
- 感知困惑度分析：提出一种新的分析框架，揭示感知任务中有效强化学习的关键阈值，为理解 RL 何时以及如何改善视觉理解提供洞见。
- GRPO 优化：采用精心设计的基于规则的奖励塑造，进行可扩展的策略学习。
- 性能提升：在多个视觉感知基准上取得显著改进，特别是在 COCO2017 验证集上达到 31.9% mAP，成为首个达到该性能的 3B 规模 MLLM。
使用方式：
- 训练前，需修改脚本以指定模型和数据路径，然后运行实验。训练脚本包含超参数、数据加载和模型检查点的综合配置，可根据自定义场景调整学习率、批次大小等参数。
- 评估：从 Hugging Face 下载评估数据，解压到 eval/ 文件夹。注意 COCO 图像不包含在包内，需从 COCO 官网单独下载并放置于 eval/images/coco/ 目录。评估支持 counting、grounding、detection 等任务。
适用场景：适用于研究多模态大语言模型视觉感知能力提升的学术或工业场景，特别是需要利用强化学习优化 grounding、检测、计数等任务的研究人员。
限制：COCO 图像需用户自行下载，项目未提供图像数据；训练和评估需要用户自行配置模型与数据路径；更多感知任务（如 OCR）计划发布但暂未提供。
项目持续更新：2025-04-10 首次发布模型和评估代码；2025-05-27 计划增加更多感知任务。
