Reyes（睿视）是一个多模态大模型项目，名称中 R 代表睿，eyes 代表眼。该项目记录了从零到一实现多模态大模型的过程，并提供两个不同参数规模的版本。
一、用途 Reyes 属于多模态大模型，用于处理和理解图像与文本结合的任务。根据资料，其训练数据涵盖 VQA、OCR、caption 以及纯文本，可用于多模态理解相关场景。具体支持的任务类型在资料中未逐一列举，暂未提供更细分的功能说明。
二、主要版本与结构
-
Reyes-8B（2025.01） 参数量为 8B。视觉编码器使用 InternViT-300M-448px-V2_5，语言模型侧使用 Qwen2.5-7B-Instruct，并通过一个两层 MLP 投影层连接视觉编码器与语言模型。该版本主要采用动态分辨率对图像进行预处理，包括归一化、缩放、裁剪、根据宽高比动态处理等操作。
-
Reyes-0.6B（2026.01） 整体结构遵循经典的 Vit + 两层 MLP + LLM 架构。视觉编码器为 SigLIP2-Base-Patch16-512。该版本增加了原生分辨率的支持，通过适配集成 2D Rotary Position Embeddings（2D-RoPE）和双三次插值适配位置嵌入实现。资料还提到像素洗牌通过重新排列编码图像，以增加通道深度为代价换取空间分辨率，从而减少视觉标记数量，同时保持信息密度。
三、训练方式 训练整体分为预训练和 SFT 两个阶段： 预训练：训练模型的对齐能力，由 VQA + OCR + caption 数据构成，采用 1024x1024 低分辨率训练。 SFT：训练模型的多模态理解能力，由纯文本 + VQA 的混合数据进行训练，采用 2048x2048 高分辨率训练。 训练数据参考了开源社区的多项数据集，并结合筛选和净化手段。资料中提及 FineVision 等数据集，以及《多模态视觉语言模型：Molmo2训练数据、训练配方》中提到的若干优质数据集。
四、使用方式 资料给出的使用方式为：将本仓库中的 modeling_reyes.py 文件替换 modelscope 下载的 modeling_reyes.py 运行即可。批量推理的详细内容见 batch_inference.ipynb。
五、权重与资源链接 Reyes-8B 权重（modelscope）：https://modelscope.cn/models/yujunhuinlp/Reyes-8B Reyes-0.6B 权重（modelscope）：https://modelscope.cn/models/yujunhuinlp/Reyes-0.6B GitHub 仓库：https://github.com/yujunhuics/Reyes 详细介绍链接：https://mp.weixin.qq.com/s/CH5FoRxoN6WHXPOMwG9gDA
六、适用场景 根据资料，Reyes 可用于多模态理解任务，其训练涉及 VQA、OCR、caption 和纯文本数据，可能适用于图文问答、文字识别、图像描述等方向。但资料未明确列出具体应用场景与效果指标，暂未提供。
七、限制与未提供信息 资料未提供模型的商用许可、收费方式、价格、性能评测结果、运行硬件要求、支持的平台、推理速度、语言支持范围等信息，暂未提供。
