gpustack
AI开发平台GPUStack 是一个开源 GPU 集群管理器,用于 AI 模型服务与 GPU 实例供给。它可配置并编排 vLLM、SGLang、TensorRT-LLM 或自定义推理引擎,并支持按需启动可通过 SSH 访问的 GPU 实例。核心能力包括多集群 GPU 管理(本地服务器、Kubernetes 集群、云厂商)、可插拔推理引擎、模型发布当天即可部署、面向低延迟或高吞吐的预调优配置、扩展 KV 缓存(LMCache、HiCache)与推测解码(EAGLE3、MTP、N-grams),以及自动故障恢复、负载均衡、监控、认证与访问控制等企业级运维能力。它提供兼容行业标准的 LLM、语音、图像、视频模型 API,内置用户认证与访问控制、GPU 性能与利用率实时监控、Token 用量与 API 请求速率计量。