GPUStack 是一个开源 GPU 集群管理器，面向 AI 模型服务与 GPU 实例供给。它负责配置和编排推理引擎（vLLM、SGLang、TensorRT-LLM 或用户自己的引擎），并允许按需启动可通过 SSH 访问的 GPU 实例。
用途与定位 GPUStack 帮助开发团队、IT 组织和服务提供商大规模交付 Model-as-a-Service。它支持 LLM、语音、图像和视频模型的行业标准 API，并内置用户认证与访问控制、GPU 性能与利用率实时监控，以及 Token 用量和 API 请求速率的详细计量。
主要能力
- 多集群 GPU 管理：管理跨多个环境的 GPU 集群，包括本地服务器、Kubernetes 集群和云厂商。
- 可插拔推理引擎：自动配置 vLLM、SGLang、TensorRT-LLM 等高性能推理引擎，也可按需添加自定义推理引擎。
- Day 0 模型支持：借助可插拔引擎架构，可在新模型发布当天完成部署。
- 性能优化配置：提供面向低延迟或高吞吐的预调优模式；支持 LMCache、HiCache 等扩展 KV 缓存系统以降低 TTFT；内置对 EAGLE3、MTP、N-grams 等推测解码方法的支持。
- GPU 实例：按需启动可通过 SSH 访问的 GPU 实例，用于开发、微调和交互式工作负载。
- 企业级运维：支持自动故障恢复、负载均衡、监控、认证和访问控制。
架构与可视化 单个 GPUStack 服务器可管理本地与云环境中的多个 GPU 集群。GPUStack 调度器分配 GPU 以最大化资源利用率，并选择合适的推理引擎以获得最佳性能。管理员可通过集成的 Grafana 和 Prometheus 仪表盘全面查看系统健康与指标。GPUStack Enterprise 提供 GPU 集群拓扑视图，可实时鸟瞰整个集群中的每个 worker、GPU 和模型部署，以及利用率、分配和健康状态。
安装与使用方式 安装 GPUStack 服务器（Docker）： 运行以下命令使用 Docker 安装并启动 GPUStack 服务器。若无法从 Docker Hub 拉取镜像或下载很慢，可将 registry 指向 quay.io 使用其镜像。 查看 GPUStack 启动日志。 GPUStack 启动后，运行以下命令获取默认管理员密码。 在浏览器中访问 http://your_host_ip 打开 GPUStack UI，使用默认用户名 admin 和上述获取的密码登录。
设置 GPU 集群
- 在 GPUStack UI 中进入 Clusters 页面。
- 点击 Add Cluster 按钮。
- 选择 Docker 作为集群提供方。
- 填写新集群的 Name 和 Description 字段，然后点击 Save。
- 按 UI 指引配置新的 worker 节点。需要在 worker 节点上运行一条 Docker 命令将其连接到 GPUStack 服务器，命令形如：
sudo docker run -d --name gpustack-worker
--restart=unless-stopped
--privileged
--network=host
--volume /var/run/docker.sock:/var/run/docker.sock
--volume gpustack-data:/var/lib/gpustack
--runtime nvidia
gpustack/gpustack
--server-url http://your_gpustack_server_url
--token your_worker_token
--advertise-address 192.168.1.2 - 在 worker 节点上执行该命令以连接到 GPUStack 服务器。
- worker 节点连接成功后，会出现在 GPUStack UI 的 Workers 页面。
部署模型
- 在 GPUStack UI 中进入 Catalog 页面。
- 从可用模型列表中选择 Qwen3.5-0.8B 模型。
- 部署兼容性检查通过后，点击 Save 部署模型。
- GPUStack 将开始下载模型文件并部署模型。当部署状态显示 Running 时，表示模型部署成功。
- 点击导航菜单中的 Playground - Chat，确认右上角 Model 下拉框中已选择 qwen3.5-0.8b，即可在 UI playground 中与模型对话。
通过 API 使用模型
- 进入 Access Control > API Keys 页面，点击 New API Key 按钮。
- 填写 Name 并点击 Save。
- 复制生成的 API key 并妥善保存。注意：创建时只能看到一次。
- 现在可使用该 API key 访问 GPUStack 提供的 OpenAI 兼容 API 端点，例如使用 curl。
运行环境要求
- 至少一块 NVIDIA GPU 的节点。其他 GPU 类型请在添加 worker 时查看 GPUStack UI 中的指引，或参考安装文档。
- worker 节点需安装 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit。
- （可选）用于托管 GPUStack 服务器的 CPU 节点。GPUStack 服务器不需要 GPU，可运行在纯 CPU 机器上，需安装 Docker。也支持 Docker Desktop（Windows 和 macOS）。若无专用 CPU 节点，GPUStack 服务器可与 GPU worker 节点安装在同一台机器上。
- GPUStack worker 节点仅支持 Linux。若使用 Windows，可考虑 WSL2 并避免使用 Docker Desktop。macOS 不支持作为 GPUStack worker 节点。
支持的加速器 GPUStack 支持多种用于 AI 推理的加速器。详细要求和设置说明请参阅安装要求文档。
开发与许可
- 安装 Docker。
- 运行 make package。
- 有兴趣贡献请阅读 Contributing Guide。
- 如有问题或建议，可加入社区获取支持。
- 版权 (c) 2024-2026 The GPUStack authors，基于 Apache License, Version 2.0 许可。
限制与暂未提供的信息 资料未提供具体收费、价格、平台支持矩阵的完整列表、性能基准的具体数值、支持的加速器完整清单，以及除上述示例外的详细使用步骤。
