用途:在 macOS / Linux 笔记本上以 Ollama 单二进制方式部署 MiniCPM5-1B,消费已发布的 GGUF 权重,无需 Python 环境。
主要能力:支持通过 Modelfile 定义模型,使用与发布 tokenizer 匹配的 MiniCPM5 聊天模板,默认 nothink 模式(temperature 0.7、top_p 0.95、num_ctx 8192),也可切换 think 模式(temperature 0.9)。提供 OpenAI 兼容 API 校验。
必要用法:先安装 Ollama(macOS 用 brew install ollama,Linux 用 curl -fsSL https://ollama.com/install.sh | sh),再启动服务并设置 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve。随后用 huggingface-cli download 下载 GGUF(如 openbmb/MiniCPM5-1B-GGUF 的 Q4_K_M,657 MB),编写 Modelfile 后执行 ollama create 与 ollama run。可用 curl 调用 http://localhost:11434/v1/chat/completions 验证。
适用场景:本地笔记本上的轻量推理、需要 Ollama 工作流或 Modelfile 定制的部署。
限制:若追求 Mac 最高吞吐应改用 minicpm5-deploy-mlx;需要 GUI 用 minicpm5-deploy-lmstudio;NVIDIA GPU 生产环境用 minicpm5-deploy-vllm。下载损坏会报 invalid file magic,需重新下载。