sglang
SGLang 是一个面向大语言模型(LLM)和视觉语言模型(VLM)的高性能服务框架,核心创新是 RadixAttention 自动前缀缓存。它适合需要结构化输出(JSON、正则、语法约束)、带重复前缀的智能体工作流、函数调用、多轮对话共享上下文等场景。官方称在智能体负载下可提速约 5 倍,少样本提示约 10 倍,JSON 解码约 3 倍。支持 Llama、Mistral、Qwen、DeepSeek、Gemma、Phi 等文本模型及 LLaVA、Qwen2-VL 等视觉模型,提供 OpenAI 兼容 API,支持多 GPU 张量并行、推测解码和连续批处理。