LLaMA Box 是一个基于 llama.cpp 和 stable-diffusion.cpp 构建的语言模型推理服务器，采用纯 API 形式提供，不包含前端资源。项目已不再积极维护，官方建议考虑直接使用 llama.cpp。
主要能力方面，LLaMA Box 兼容多种 OpenAI 风格的 API 接口，包括 Chat API、Chat Vision API、Chat Audio-In API（实验性）、Function Calling API、Embeddings API、Images API 以及旧版 Completions API，同时兼容 Jina Rerank API。在视觉模型支持上，涵盖 LLaVA 系列、MiniCPM VL 系列、Qwen2 VL 系列、GLM-Edge-V 系列、Granite VL 系列、Gemma3 VL 系列、SmolVLM 系列、Pixtral 系列、MobileVLM 系列、Mistral Small 3.1、Qwen2.5 VL 系列、InternVL2/InternVL3 系列、LLaMA4 系列、Qwen2.5-Omni 系列等。音频输入方面支持 UltraVox 系列、Qwen2 Audio 系列、Qwen2.5-Omni 系列、Voxtral 系列等。函数调用支持 LLaMA3 系列、Granite 系列、Mistral 系列、Hermes2/Qwen2 系列、ChatGLM4 系列、DeepSeekV3 系列、CommandR 系列、FunctionaryV3 系列、DeepSeekR1 系列等。
使用方式上，用户可从最新发布页面下载 LLaMA Box，支持 CentOS 7、Ubuntu 18.04/20.04/22.04、RockyLinux 8.9、macOS 13.7.5/14.7.5、Windows Server 2022 等平台。启动命令示例：llama-box -c 8192 -np 4 --host 0.0.0.0 -m <模型路径>，可通过 curl 调用 http://localhost:8080/v1/chat/completions 接口，或使用项目自带的 chat.sh 工具。
其他特性包括：支持推测解码（草稿模型或 n-gram 查找）；支持 RPC 服务器模式作为远程推理后端；支持跨多设备（含远程 RPC 服务器）拆分卸载层，非图像模型和图像模型均可通过 --tensor-split 参数分配；支持注入 X-Request-ID HTTP 头用于请求追踪；支持 X-Request-Tokens-Per-Second HTTP 头限制每秒 token 数。
适用场景包括本地或远程部署大语言模型推理服务、多模态（视觉/音频）推理、函数调用、图像生成与编辑（如 stable-diffusion-3.5-medium、FLUX.1-Fill-dev）等。限制方面，项目已停止积极维护，部分功能标注为实验性，具体性能与效果暂未提供。
