SuperAPI AI 工具集

minicpm5-deploy-sglang

部署与运维

查看项目

更新于 10-16 03:05

技能介绍

用途:用 SGLang 部署 MiniCPM5-1B,提供 OpenAI 兼容 HTTP 服务,内置 RadixAttention 前缀缓存与 MiniCPM5 工具调用解析,适合工具调用、批量评测与高并发服务。

主要能力:支持 OpenAI 风格 /v1/chat/completions 接口、原生 MiniCPM5 XML 工具调用解析,以及 Engine API 离线批量推理。

必要用法:先安装依赖 pip install "sglang[srt]>=0.5.12"(CUDA 12.x 驱动主机可用 pip install "sglang==0.5.6.post3")。工具调用所需 minicpm5 解析器尚未进入 pip 发行版,需从 main 安装:pip install "git+https://github.com/sgl-project/sglang.git@main#subdirectory=python"。建议设置 VLLM_WORKER_MULTIPROC_METHOD=spawn、SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1、SGLANG_DISABLE_CUDNN_CHECK=1。使用 python -m sglang.launch_server 启动,关键参数包括 --model-path、--served-model-name MiniCPM5-1B、--dtype bfloat16、--context-length、--mem-fraction-static、--tool-call-parser minicpm5(或 auto)、--host、--port。启动后可用 curl 请求 /v1/chat/completions 验证,工具调用请求需携带 OpenAI 风格 tools 与 tool_choice。离线批量可用 sgl.Engine 与 llm.generate。

主要输入变量:MODEL_PATH 必填(示例 openbmb/MiniCPM5-1B),PORT 默认 30000,GPU_ID 默认 0,CTX_LEN 默认 131072,MEM_FRAC 默认 0.85,TOOL_PARSER 默认 minicpm5。

限制与注意:需 NVIDIA GPU;生产服务若无批量评测需求,vllm 方案更简单;一次性 Python 场景建议用 transformers 方案;无 NVIDIA GPU 可用 llama-cpp 或 mlx 方案。可能遇到 GLIBCXX_3.4.31 not found,可用 LD_PRELOAD 预加载系统 libstdc++。其余事实暂未提供。