用途：在 1× 或 2× RTX 3090 上本地运行现代大模型，获得 OpenAI 兼容的推理 API，便于对话、代码、长上下文与工具调用等场景自托管。
主要能力：提供 vLLM、llama.cpp、SGLang 三种引擎的验证过的 Docker Compose 配置，服务端口 8020；附带 setup、launch、switch、health、verify、verify-full、verify-stress、bench 等脚本，用于下载校验模型、切换变体、健康探测、功能验证与 TPS 基准测试。当前提供 Qwen3.6-27B 的单卡与双卡配置，含 262K 上下文、视觉、工具调用与 MTP 投机解码相关选项。SGLang 在 Qwen3.6-27B 上目前受阻，仅有观察列表。
使用方式：先克隆仓库并进入目录，执行 bash scripts/setup.sh qwen3.6-27b 下载并校验模型；再通过 bash scripts/launch.sh 交互式向导或 --variant 参数（如 vllm/default、vllm/dual、llamacpp/default）启动；用 bash scripts/switch.sh 切换变体，bash scripts/health.sh 查看 KV 缓存、MTP 接受长度与 TPS，bash scripts/verify-full.sh 与 verify-stress.sh 做功能与边界压力验证。客户端将 base_url 指向 http://localhost:8020/v1，api_key 可任意填写，模型名如 qwen3.6-27b-autoround；支持 openai Python SDK、流式、原生 requests、工具调用、TypeScript/Node 与 curl，也可接入 Open WebUI、Cline/Cursor 类工具或 LiteLLM 代理。
前提与限制：需要 1× 或 2× NVIDIA RTX 3090（每卡 24 GB）、Ubuntu 22.04+ 等 Linux、Docker 与 NVIDIA Container Toolkit、580.x+ 驱动，以及每个模型约 30 GB 磁盘空间。性能数据以 Qwen3.6-27B 为准（如 vllm/default 约 89 TPS，llamacpp/default 约 21 TPS），实际结果取决于硬件与负载。已知限制包括 vLLM 在 Qwen3.6-27B 上出现 prefill cliff（可改用 llama.cpp），以及超大工具返回在 vLLM 上可能挂起。仓库结构支持按 models/<name>/ 模式添加新模型，但需同步更新脚本分发。安装、配置或价格等未提供信息暂未说明。