NInfer 是一个从零编写的 C++/CUDA 单 GPU 推理引擎，目标是在单张 NVIDIA GeForce RTX 5090 上实现选定模型检查点的高性能推理。它支持 Qwen3.5 Dense/MoE 与 Qwen4Exp（Qwen3.8-Flash-Next），可处理文本、图像/视频提示以及原生 MTP。运行时使用一块 GPU、一个常驻模型，并在启动时固定 1 至 8 条执行通道。
主要能力包括：文本生成（思考与非思考模式）、图像/多图/视频及混合多模态消息、分块预填充、精确批 CUDA Graph 解码、启动时限定批大小的批解码、草稿窗口 1 至 5 的 MTP 推测解码、BF16/INT8/FP8/NVFP4 与 K8V4 KV 存储、离线因果困惑度评分、私有与共享精确前缀复用（Device/Host State 与 KV 保留）、模型感知采样默认值与显式采样器覆盖，以及 OpenAI Responses Core、OpenAI Chat Completions 和 Anthropic Messages 接口（含流式、工具、本地响应状态、token 计数与用量统计）。35B-A3B 目标还支持 DFlash（草稿窗口 1 至 15）及 CPU/GPU MoE 专家卸载。
使用方式：需 x86-64 Linux、RTX 5090、支持 sm_120a 的 CUDA 工具包、CMake 3.28+、C++20 编译器、Ninja、pkg-config、FFmpeg 开发库、hwloc>=2.5、liburing>=2.5、libcurl>=7.85。构建产品二进制：cmake --preset release；开发预设 cmake --preset dev 会启用测试与基准。无安装目标或打包二进制，需从源码构建树运行。可用 Hugging Face CLI 下载官方 artifact，启动文本/代理服务器或一次性 CLI 请求，也可通过 Docker 镜像运行。
限制：仅支持一块 RTX 5090 与一个常驻模型；无优先级/QoS、多 GPU 或分布式服务；工具调用仅返回客户端，不执行工具；树内 C++ 头文件不作为已安装 SDK 分发；需要 v3 artifact，旧 v2 可本地升级。项目为个人兴趣开发，Apache License 2.0 许可。
