PowerInfer 是一个高速大语言模型（LLM）推理引擎，专为在配备单块消费级 GPU 的个人电脑上本地部署 LLM 而设计。其核心思想是利用 LLM 推理中固有的高局部性特征：神经元激活呈幂律分布，即少数“热神经元”在几乎所有输入下都会被激活，而大多数“冷神经元”则随具体输入变化。基于这一洞察，PowerInfer 构建了 GPU-CPU 混合推理引擎——热神经元预加载到 GPU 以实现快速访问，冷神经元在 CPU 上计算，从而大幅降低显存需求和 CPU-GPU 数据传输量。引擎还集成了自适应预测器和神经元感知稀疏算子，进一步优化神经元激活与计算稀疏性的效率。
主要能力与性能：
- 局部性中心设计：利用稀疏激活和“热/冷”神经元概念，在较低资源需求下实现高速推理。
- CPU/GPU 混合利用：无缝整合 CPU 与 GPU 的内存和计算能力，实现负载均衡与更快处理。
- 官方评测：在单张 NVIDIA RTX 4090（24G）上运行多种 LLM（包括 OPT-175B），平均 token 生成速率为 13.20 tokens/s，峰值 29.08 tokens/s，仅比顶级服务器级 A100 GPU 低 18%，相比 llama.cpp 最高提速 11.69 倍，同时保持模型精度。在 RTX 2080Ti（11G）上运行 INT4 ReLU 模型时，Falcon 40B 最高提速 8 倍，Llama 2 70B 最高提速 3 倍。
使用方式与兼容性：
- 易于集成：兼容流行的 ReLU 稀疏模型。
- 本地部署便利：专为消费级硬件本地部署设计和深度优化，可在单 GPU 上实现低延迟 LLM 推理与服务。
- 向后兼容：虽然与 llama.cpp 不同，但可以像 llama.cpp 一样使用大部分 examples/ 示例（如 server 和批量生成）。PowerInfer 也支持使用 llama.cpp 的模型权重进行推理以保持兼容，但不会有性能提升。
- 模型格式：PowerInfer 模型以基于 GGUF 的特殊格式 PowerInfer GGUF 存储，包含 LLM 权重和预测器权重。可从 Hugging Face 获取 *.powerinfer.gguf 权重及用于热神经元卸载的模型激活统计。
- 支持模型：ProSparse Llama2 系列、ReLU 稀疏模型（如 Falcon(ReLU)-40B-FP16、Bamboo-7B 等）。
- 支持平台：x86-64 CPU（带 AVX2 指令）在 Linux 或 Windows 下，可搭配或不搭配 NVIDIA GPU；Apple M 芯片（仅 CPU）在 macOS 下（官方表示未针对 Mac 优化，性能提升目前不显著）。
- 构建方式：使用 CMake（3.17+），根据硬件选择 NVIDIA GPU、AMD GPU（ROCm）或仅 CPU 的构建命令。
- 运行方式：支持仅 CPU 和 CPU-GPU 混合推理；可通过 --vram-budget 限制 GPU 显存使用（替代 llama.cpp 的 -ngl 参数）；支持 INT4（Q4_0）量化模型；支持服务、批量生成和困惑度评估等示例。
适用场景： 适合希望在个人电脑或消费级硬件上本地运行大语言模型、追求低延迟推理与服务的开发者与研究者，尤其适用于显存有限但希望运行较大模型的场景。
限制与注意事项：
- 目前仅支持使用 ReLU/ReGLU/Squared ReLU 激活函数的模型，暂不支持 Mistral、原始 Llama、Qwen 等模型。
- 当前 ReLU 模型（尤其是 70B）的性能指标存在明显下降，原因是微调仅使用约 5B tokens（远低于通常约 2T tokens 的训练量），团队正在更新更优模型。
- 在 macOS 上未做优化，性能提升不显著；Metal 后端（用于 macOS 稀疏推理）列为即将推出的功能。
- 若遇到 CUDA_ERROR_OUT_OF_MEMORY，可尝试使用 --reset-gpu-index 重建 GPU 索引，或使用略低的 --vram-budget 值，或使用 --disable-gpu-index 禁用 FFN 卸载。
- 由 convert-dense.py 生成的稠密 GGUF 模型可能无法在 llama.cpp 中正常工作，因为激活函数或模型架构已被修改。
- 官方标注为实验性且不提供保证。
其他信息： 项目还发布了面向智能手机的 PowerInfer-2 推理框架、TurboSparse 稀疏模型、Tiiny AI Pocket Lab 等衍生成果。更多技术细节可参阅其论文。
