SuperAPI AI 工具集

Namo-R1

Namo-R1 是一个开源的小型多模态大语言模型(MLLM)系列,首个版本参数量仅 500M,可在 CPU 上快速运行。据项目方称,同规模下其表现超过 Moondream2 和 SmolVLM。模型支持多语言 OCR、通用概念理解、图像描述等任务,原生支持动态分辨率输入,并公开全部模型代码、训练步骤与脚本,便于从零训练自己的视觉语言模型。项目还计划扩展音频(ASR/TTS)与跨模态融合能力,并持续训练更大规模模型。

访问官网

工具介绍

Namo-R1 是一个开源的小型多模态大语言模型(MLLM)项目,主打在极小参数量下实现可用的视觉语言理解能力。首个模型系列 Namo-500M 仅有 5 亿参数,可以在 CPU 上直接运行,项目方称其在相同规模下超过了 SmolVLM 和 Moondream2。

用途方面,Namo-R1 面向希望在边缘设备或缺乏 GPU 的环境中运行视觉语言模型,以及希望从零训练自己 MLLM 的研究者和开发者。项目强调完全开源,包括训练数据整理流程、模型架构与训练调度器,以便复现 AI 研究。

主要能力包括:CPU 友好,在 CPU 上也能较快运行;支持多语言 OCR,覆盖中英文及日文等其他语言;通用概念理解;图像描述(image captioning);原生动态分辨率输入,可适应任意长宽比的图像;支持 R1 用于后训练(post-training);以及面向未来音频(ASR/TTS)和跨模态融合的可扩展设计。

使用方式方面,项目提供简单的 demo,可在终端中运行 python demo.py 进行 CLI 多轮聊天,之后可以在本地获得类似 OpenAI 的服务接口。命令行直接运行 Namo cli 的功能据称后续提供。训练方面,项目开源了全部模型代码、训练步骤和脚本,并支持使用 SigLIP2 作为视觉编码器进行训练。

适用场景包括:无 GPU 环境下运行视觉语言模型、边缘部署、多语言 OCR、图像理解与描述、以及从零训练或后训练小型 MLLM 的研究工作。

限制方面,项目方明确表示当前测试仅在有限数量的基准上进行,未来会报告更多指标;更大规模的模型(最高到 7B)以及更多视觉编码器仍在训练计划中。使用 deepspeed 时若遇到“no_sync context manager is incompatible with gradient partitioning logic of ZeRO stage 2”错误,建议将 transformers 升级到 4.48+ 并使用最新版 deepspeed。代码以 MIT 许可证发布,版权归 Namo 作者所有。若需加入社区,可访问其 Discord:https://discord.gg/5ftPBVspXj 。