大型模型系统组织(Large Model Systems Organization,简称 LMSYS Org)的定位是开发开放、可访问且可扩展的大型模型与系统。其官网展示了该组织在大型模型与系统方向上的多个项目与技术动态。
用途方面:LMSYS Org 主要面向大语言模型和多模态模型的推理服务、训练与微调、评测对比以及路由调度等环节,提供开源工具与平台,供研究者和开发者使用。
主要能力与项目:
- SGLang:面向大语言模型和多模态模型的高性能服务引擎,用于推理部署。
- Chatbot Arena:一个 LLM 基准评测平台,采用众包方式进行匿名、随机的模型对战。
- FastChat:一个开放且可扩展的平台,用于训练、微调、部署和评估基于 LLM 的聊天机器人。
- Vicuna:一个开源聊天机器人,官网称其以 90%* 的 ChatGPT 质量令 GPT-4 印象深刻。
- RouteLLM:一个用于 LLM 路由服务与评估的框架。
技术动态:官网还列出了若干技术文章,包括在 NVIDIA Vera Rubin 上运行 SGLang(推理)与 Miles(强化学习训练)、使用 SGLang 扩展类 JEV 决策模型,以及使用 NVFP4 KV 缓存加速长上下文与智能体推理等。
支持与合作伙伴:LMSYS Org 获得多家领先企业与机构的支持,官网列出的赞助商与合作伙伴包括 Voltage Park、NVIDIA、Nebius、Google Cloud、AtlasCloud、a16z、AMD、InnoMatrix、Laude Institute、Hyperbolic、NovitaAI、Verda Cloud、Sky9、Kaggle、MBZUAI、Together、RunPod、Anyscale、HuggingFace。
适用场景:适合需要开源大模型推理引擎、模型对战评测、聊天机器人训练与部署评测、以及 LLM 路由研究与评估的研究人员与开发者。
限制与说明:官网未提供具体的收费、价格、平台支持细节或详细使用步骤;上述项目均为开源性质,具体安装与使用方式需参考各项目自身文档,官网资料中暂未提供。