Seg-Zero 是论文《Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement》的官方实现,同时该仓库也是《VisionReasoner: Unified Visual Perception and Reasoning via Reinforcement Learning》的官方训练代码。
用途方面,Seg-Zero 专注于推理链引导的图像分割任务。其核心特点是让模型在生成最终分割掩码之前,先生成一段推理链,从而展现出测试时涌现的推理能力。模型完全使用强化学习训练,没有显式的监督推理数据。与监督微调相比,Seg-Zero 在域内和域外数据上均取得了更优性能。
主要能力包括:支持推理链生成并输出思考过程;采用解耦架构,包含推理模型和分割模型,并设计了融合格式奖励与准确率奖励的复杂奖励机制;基于 EasyR1 和 veRL,支持采样时模型拆分,更节省 GPU 显存;支持 Qwen2-VL 和 Qwen2.5-VL 系列模型;已实现目标检测和分割中常用的奖励,如 IoU 奖励和 L1 奖励。后续发布 VisionReasoner,支持多目标和多任务。
使用方式上,用户可从 Hugging Face 下载预训练模型(如 Seg-Zero-7B、VisionReasoner-7B),若连接 Hugging Face 遇到问题可设置 export HF_ENDPOINT=https://hf-mirror.com。然后运行推理脚本,默认问题为“What can I have if I'm thirsty?”,命令行会输出思考过程,掩码会保存在 inference_scripts 文件夹中。用户也可以自定义 image_path 和 text。评估时需根据 GPU 调整 bash 脚本中的 --batch_size,命令行会显示 gIoU。训练方面推荐 7B 模型使用 4x80G GPU 服务器或 8x46G GPU 服务器。训练数据包括 MultiObject-1K 和 MultiObject-7K,可通过脚本下载。若显存较低,可调整图像尺寸并重新计算对应的 bbox 或点坐标,同时更改评估和推理中的 resize_size。训练脚本可启动 GRPO 训练,并可根据显存调整超参数。此外还支持将检查点合并为 Hugging Face 格式,以及构建自定义训练数据。
适用场景包括需要可解释分割推理的视觉理解与推理研究,以及多目标、多任务的视觉感知与推理实验。
限制方面:项目提示某些操作具有风险,修改代码前需确保已备份;训练对 GPU 显存有要求,较低显存时需要调整配置;Seg-Zero 的最佳结果在不同基准上使用不同检查点评估,而 VisionReasoner 是在单一检查点内评估,建议用户在同一模型上评估所有基准以进行比较。其他如收费、价格、具体平台支持等细节暂未提供。