用途
MiniCPM5-1B 部署后端路由(backend router)。当用户提出要部署、服务化或与某个 MiniCPM5-1B checkpoint 对话,但不清楚该用哪个推理后端时,此技能负责选出唯一一个后端技能并转交给它,而不是自行发挥。
决策依据与所需输入
在选后端之前,需要先确认三项信息:
- MODEL_PATH:Hugging Face id(如 openbmb/MiniCPM5-1B)或本地路径。本地副本需是包含 config.json 与 model.safetensors 的目录,或对应的 GGUF / MLX 布局。
- 硬件:NVIDIA GPU、Apple Silicon 或仅 CPU(可从上下文推断,否则需询问)。
- 目标:交互式对话、OpenAI 服务、Python 脚本或基准测试。
Hugging Face 上的 checkpoint 变体与配套后端:
| 变体 | HF 仓库 | 配合使用 |
|---|---|---|
| HF fp16(推荐) | openbmb/MiniCPM5-1B | transformers / vllm(不带 --quantization)/ sglang / 任意 minicpm5-finetune-* |
| GGUF F16 / Q8_0 / Q4_K_M | openbmb/MiniCPM5-1B-GGUF | minicpm5-deploy-llama-cpp / -ollama / -lmstudio |
| MLX(Apple Silicon) | openbmb/MiniCPM5-1B-MLX | minicpm5-deploy-mlx |
后端选择矩阵
按用户表述、硬件与格式对应到唯一一个子技能:
- 「快速 Python 脚本」「一次性生成」「不要服务」:任意 GPU 或 CPU,HF safetensors → minicpm5-deploy-transformers
- 「OpenAI 服务」「生产级服务」「高 QPS」:NVIDIA GPU,HF safetensors → minicpm5-deploy-vllm
- 「RadixAttention」「前缀缓存」「批量评测」:NVIDIA GPU,HF safetensors → minicpm5-deploy-sglang
- 「GGUF」「llama.cpp」「llama-cli」「仅 CPU」:任意 CPU(可选 GPU),GGUF → minicpm5-deploy-llama-cpp
- 「Ollama」「ollama run」「Modelfile」:macOS / Linux 笔记本,GGUF → minicpm5-deploy-ollama
- 「LM Studio」「桌面 GUI」:macOS / Windows / Linux,GGUF 或 MLX → minicpm5-deploy-lmstudio
- 「MLX」「Apple Silicon 原生」「Mac 上最快」:Apple Silicon,MLX → minicpm5-deploy-mlx
若用户只说「怎么运行」且未给其他信息:CUDA 机器追求最快服务选 vLLM;CUDA 机器追求最少 Python 选 transformers;Apple Silicon 笔记本选 Ollama(最省事)或 MLX(最快);仅 CPU / Windows / 低显存选 llama.cpp(Q4_K_M)。
使用方式
选定子技能后,以 MODEL_PATH 调用该技能。不要在此处内联后端命令——每个后端都有自己的坑(强制参数、环境变量固定、安装顺序),由各自的专用技能处理。用户明确不希望「自行发挥」,因此应先完整阅读被选中的子技能。
部署后的连通性自检
无论选择哪个后端,启动后运行统一的检查请求(把 localhost:PORT 换成实际端口):
curl http://localhost:PORT/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "MiniCPM5-1B",
"messages": [{"role":"user","content":"1+1=?"}],
"temperature": 0.7, "top_p": 0.95, "max_tokens": 64,
"chat_template_kwargs": {"enable_thinking": false}
}'
预期结果:HTTP 200,choices[0].message.content 中包含「2」。如果返回的是 <think>...,说明请求落入了思考模式,需在 chat_template_kwargs 中设 enable_thinking: false。
跨后端已知注意事项
- 思考与不思考:默认是思考模式(temperature=0.9,top_p=0.95)。不思考(更快、更长话更少)用 enable_thinking=false 搭配 temperature=0.7、top_p=0.95。
- 128 K 上下文:max_position_embeddings=131072,rope_theta=5e6,无 rope-scaling。想用满窗口需传 --max-model-len 131072(vLLM)/ --context-length 131072(SGLang)/ -c 131072(llama.cpp);显存紧张时调低。
- lm_head 未绑定:tie_word_embeddings=false。假设沿用 Llama 默认绑定行为的工具(例如 mlx_lm.convert < 0.31)会静默丢弃 lm_head,导致输出退化为随机 token。MLX 子技能已内置修复。
与其他资料的关系
每个子技能都对应 docs/deployment/ 下一页 cookbook:技能是机器可读的快捷方式,cookbook 是给人看的参考,两者保持同步。
限制
资料未提供具体的安装命令、各后端默认端口、硬件最低要求、性能基准数字或收费信息。