ZhiLight 是知乎（Zhihu）与 ModelBest Inc. 联合开发的一款高度优化的大语言模型（LLM）推理加速引擎。其名称中的“Zhi”代表知乎。该引擎旨在加速 Llama 及其变体等模型的推理，尤其在基于 PCIe 的 GPU 上具有显著性能优势。据官方说明，与 vLLM 等主流开源推理引擎相比，ZhiLight 在性能上有明显优势。
主要能力方面，ZhiLight 提供了丰富的功能特性：采用改编自 vLLM 的异步 OpenAI 兼容接口；支持自定义张量和统一的全局内存管理；实现了名为“双流”（dual streams）的编码与 all-reduce 重叠机制，并支持 Int8 量化的 all-reduce 以进一步降低 all-reduce 开销；支持基于 SIMD 指令的主机端 all-reduce；提供优化的融合内核，如 qkv、残差与 layernorm 等；支持基于 tensor core 指令的解码融合批量注意力；支持单节点上的张量并行（TP）和流水线并行（PP），推荐使用 TP；支持动态批处理、flash attention 预填充、分块预填充（chunked prefill）以及前缀缓存（prefix cache）；支持 Native INT8、SmoothQuant、FP8、AWQ、GPTQ 量化；支持 GPTQ 的 Marlin 内核；支持 MoE、DeepseekV2 MoE 和 DeepseekV2 MLA；支持 Llama/Llama2、Mixtral、Qwen2 系列及类似模型。
版本更新方面，2025 年 5 月支持了 DeepSeek-V3/DeepSeek-R1 FP8 块量化模型；2025 年 2 月支持了 DeepSeek-V3/DeepSeek-R1 AWQ/GPTQ 量化模型；2025 年 1 月支持了 DeepSeek-VL2 多模态模型（deepseek-vl2-tiny、deepseek-vl2-small、deepseek-vl2），并支持了 LLaMA3 模型（Llama-3.1-8B、Llama-3.1-70B、Llama-3.2-1B、Llama-3.2-3B、Llama-3.3-70B）。
使用方式上，ZhiLight 仅依赖 CUDA 运行时、cuBLAS、NCCL 以及 requirements.txt 中的少量 Python 包。可以通过官方提供的 Docker 镜像运行或构建，也可以直接参考 docker/Dockerfile。
性能说明方面，官方在多种主流 NVIDIA GPU 上针对不同模型规模和精度进行了性能评测。在 PCIe 设备上，对于参数规模从 2B 到 110B 的稠密模型，ZhiLight 相比主流开源推理引擎展现出显著的性能优势。测试指标包括：QPS（每秒查询数）、TTFT（首 token 生成延迟）、TPOT（每个输出 token 的生成延迟）。测试环境包括 AD102 PCIe（用于实验研究的消费级 GPU）、A800（用于生产部署的数据中心 GPU）、H20（用于生产部署的数据中心 GPU）。测试模型包括大规模模型：DeepSeek-R1、Qwen1.5-110B、Qwen2-72B、LLama-3.1-70B；中等规模模型：Qwen2.5-14B、Llama-3.1-8B、Minicpm-2B。对比的推理引擎包括 vLLM、SGLang 和 ZhiLight。更多基准测试可在 benchmarks 中查看。
该项目的许可证为 Apache License 2.0。关于具体的安装命令、配置方式、详细的性能数值、收费模式、平台限制等信息，资料中暂未提供。
