sglang
AI开发平台SGLang 是一个面向大语言模型、视觉语言模型和扩散模型的开源高性能推理与服务框架,由非营利开源组织 LMSYS 托管。它针对智能体工作负载、大规模服务以及强化学习(RL)采样等场景进行了优化,并内置了图像与视频生成引擎 SGLang Diffusion。该框架支持广泛的硬件平台,包括多种 GPU、TPU、NPU、CPU 以及 Apple Silicon,被 AI 实验室、云平台、企业和高校用于生产环境。用户可通过 Docker 镜像或 uv 在 Python 环境中安装,并快速启动模型进行推理服务。项目提供文档、Cookbook、路线图、发布说明等资源,并欢迎社区贡献。