LongCat-Next 是美团 LongCat 团队开源的离散原生多模态模型，目标是让文本、视觉、音频在同一个自回归目标下被统一处理，尽量减小语言范式之外的归纳偏置。它被描述为具备工业级强度的基础模型，A3B 规模，擅长“看、创造、说”，在多项多模态基准上取得较强表现。
用途与定位 该工作主要针对原生多模态的根本性障碍，采用以简洁为先的设计思路，将视觉与音频视为语言的内在延伸。模型构建在 LongCat-Flash-Lite MoE（A3B）骨干之上，作为多任务学习器，把语言、视觉、音频统一在单一离散框架中。官方希望以开源模型和分词器推动社区在原生多模态方向的进一步研究与开发。
主要能力
- 统一范式 DiNA：把下一词元预测从语言扩展到原生多模态，将多样模态内化到共享的词元空间，通过模态感知的分词器—反分词器对，并复用大语言模型已有的训练基础设施，简化多模态建模。
- 改进离散视觉建模：把语义对齐编码器（SAE）与残差向量量化（RVQ）结合，生成同时保留语义抽象与细粒度视觉细节的分层离散词元，突破传统表征限制。
- dNaViT：类似语言学分词器，提出高度灵活、统一的视觉离散接口，把语义特征抽取为“视觉词”，构建支持动态分词与反分词的分层表示空间，并能与大型语言模型无缝集成而不降低性能。
- 理解与生成统一：在 DiNA 框架下，视觉理解与视觉生成被重构为同一预测过程的两种表现，在两者之间引入极小干扰，同时保留核心语言能力。官方称其在 28 倍压缩比下仍保持较强生成质量，尤其在文本渲染方面，并在高级语音理解、低延迟语音对话和可定制声音克隆上表现优异。
使用方式 官方提供基于 transformers 的使用方式，并给出基本用法示例。使用 LongCat-Next 至少需要 3 块 GPU（每块 80GB 显存，如 H100/A100 80GB），推荐环境为 transformers >= 4.57.6、accelerate >= 1.10.0。使用前需修改 ./config.json 中的 WEIGHT_PATH_TO_LONGCAT_NEXT，因为解码器使用惰性加载；详细实现与示例见 parse_model_response.py。官方还给出了一组推荐采样参数，按任务区分：
- 文本：{"max_new_tokens":2048,"do_sample":false}
- 图像理解：{"max_new_tokens":1024,"do_sample":true,"temperature":0.4,"top_k":40,"top_p":0.85,"repetition_penalty":1.1}
- 图像生成：{"max_new_tokens":2048,"do_sample":false,"visual_generation_config":{"do_sample":true,"temperature":0.5,"top_p":0.75,"top_k":1024,"custom_params":{"cfg_scale":3,"token_h":37,"token_w":37,"anyres_prefix":"<longcat_img_token_size>{h} {w}</longcat_img_token_size>"}}}
- 音频转文本：{"max_new_tokens":1024,"do_sample":true,"temperature":0.2,"top_k":20,"top_p":0.85,"repetition_penalty":1.1}
- 音频转音频/语音合成：{"max_new_tokens":2048,"do_sample":true,"temperature":0.2,"top_k":20,"top_p":0.85,"repetition_penalty":1.1,"audio_generation_config":{"audio_parallel_decoding":false,"do_sample":true,"temperature":0.5,"top_k":5,"top_p":0.85,"repetition_penalty":1.3,"custom_params":{"sampling_rate":24000,"wave_concat_overlap":1200}}} 注意，不同推理框架对采样参数的支持不同；在 transformers 中，推理参数配置位于 ./generation_config.json。
部署与微调 在 SGLang 中已实现基础适配以支持 LongCat-Next 部署，详见 meituan-longcat/LongCat-Next-inference 仓库。官方还提供基于 PyTorch FSDP2 的监督微调（SFT）代码，支持理解任务（图像+文本→文本）、生成任务（文本→图像）以及统一的混合样本训练，具体环境搭建、数据准备和示例训练脚本见 sft/ 及其 README。
许可与使用注意 本仓库（包括模型权重和源代码）以 MIT License 发布，对仓库的任何贡献也默认以 MIT License 授权，除非另有说明。该许可不授予使用美团商标或专利的任何权利，详见 LICENSE 文件。模型并未针对所有可能的下游应用进行专门设计或全面评估，开发者应考虑大语言模型的已知局限，包括不同语言间的性能差异，并在敏感或高风险场景部署前评估准确性、安全性和公平性；开发者与下游用户需自行理解并遵守适用的法律法规，包括但不限于数据保护、隐私和内容安全要求。模型卡中的任何内容都不应被解释为更改或限制 MIT 许可条款。使用时可引用其工作，如有问题可联系 longcat-team@meituan.com 或提交 issue。
限制 官方资料未提供价格、收费、具体平台支持列表、每一项基准的详细数值以及完整的部署步骤细节，相关内容暂未提供。使用时需具备满足显存要求的多 GPU 环境。
