SuperAPI AI 工具集

minicpm5-deploy

智能体与模型

查看项目

更新于 10-16 10:06

技能介绍

用途

MiniCPM5-1B 部署后端路由(backend router)。当用户提出要部署、服务化或与某个 MiniCPM5-1B checkpoint 对话,但不清楚该用哪个推理后端时,此技能负责选出唯一一个后端技能并转交给它,而不是自行发挥。

决策依据与所需输入

在选后端之前,需要先确认三项信息:

  • MODEL_PATH:Hugging Face id(如 openbmb/MiniCPM5-1B)或本地路径。本地副本需是包含 config.json 与 model.safetensors 的目录,或对应的 GGUF / MLX 布局。
  • 硬件:NVIDIA GPU、Apple Silicon 或仅 CPU(可从上下文推断,否则需询问)。
  • 目标:交互式对话、OpenAI 服务、Python 脚本或基准测试。

Hugging Face 上的 checkpoint 变体与配套后端:

变体 HF 仓库 配合使用
HF fp16(推荐) openbmb/MiniCPM5-1B transformers / vllm(不带 --quantization)/ sglang / 任意 minicpm5-finetune-*
GGUF F16 / Q8_0 / Q4_K_M openbmb/MiniCPM5-1B-GGUF minicpm5-deploy-llama-cpp / -ollama / -lmstudio
MLX(Apple Silicon) openbmb/MiniCPM5-1B-MLX minicpm5-deploy-mlx

后端选择矩阵

按用户表述、硬件与格式对应到唯一一个子技能:

  • 「快速 Python 脚本」「一次性生成」「不要服务」:任意 GPU 或 CPU,HF safetensors → minicpm5-deploy-transformers
  • 「OpenAI 服务」「生产级服务」「高 QPS」:NVIDIA GPU,HF safetensors → minicpm5-deploy-vllm
  • 「RadixAttention」「前缀缓存」「批量评测」:NVIDIA GPU,HF safetensors → minicpm5-deploy-sglang
  • 「GGUF」「llama.cpp」「llama-cli」「仅 CPU」:任意 CPU(可选 GPU),GGUF → minicpm5-deploy-llama-cpp
  • 「Ollama」「ollama run」「Modelfile」:macOS / Linux 笔记本,GGUF → minicpm5-deploy-ollama
  • 「LM Studio」「桌面 GUI」:macOS / Windows / Linux,GGUF 或 MLX → minicpm5-deploy-lmstudio
  • 「MLX」「Apple Silicon 原生」「Mac 上最快」:Apple Silicon,MLX → minicpm5-deploy-mlx

若用户只说「怎么运行」且未给其他信息:CUDA 机器追求最快服务选 vLLM;CUDA 机器追求最少 Python 选 transformers;Apple Silicon 笔记本选 Ollama(最省事)或 MLX(最快);仅 CPU / Windows / 低显存选 llama.cpp(Q4_K_M)。

使用方式

选定子技能后,以 MODEL_PATH 调用该技能。不要在此处内联后端命令——每个后端都有自己的坑(强制参数、环境变量固定、安装顺序),由各自的专用技能处理。用户明确不希望「自行发挥」,因此应先完整阅读被选中的子技能。

部署后的连通性自检

无论选择哪个后端,启动后运行统一的检查请求(把 localhost:PORT 换成实际端口):

curl http://localhost:PORT/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "MiniCPM5-1B",
        "messages": [{"role":"user","content":"1+1=?"}],
        "temperature": 0.7, "top_p": 0.95, "max_tokens": 64,
        "chat_template_kwargs": {"enable_thinking": false}
    }'

预期结果:HTTP 200,choices[0].message.content 中包含「2」。如果返回的是 <think>...,说明请求落入了思考模式,需在 chat_template_kwargs 中设 enable_thinking: false。

跨后端已知注意事项

  • 思考与不思考:默认是思考模式(temperature=0.9,top_p=0.95)。不思考(更快、更长话更少)用 enable_thinking=false 搭配 temperature=0.7、top_p=0.95。
  • 128 K 上下文:max_position_embeddings=131072,rope_theta=5e6,无 rope-scaling。想用满窗口需传 --max-model-len 131072(vLLM)/ --context-length 131072(SGLang)/ -c 131072(llama.cpp);显存紧张时调低。
  • lm_head 未绑定:tie_word_embeddings=false。假设沿用 Llama 默认绑定行为的工具(例如 mlx_lm.convert < 0.31)会静默丢弃 lm_head,导致输出退化为随机 token。MLX 子技能已内置修复。

与其他资料的关系

每个子技能都对应 docs/deployment/ 下一页 cookbook:技能是机器可读的快捷方式,cookbook 是给人看的参考,两者保持同步。

限制

资料未提供具体的安装命令、各后端默认端口、硬件最低要求、性能基准数字或收费信息。