SuperAPI AI 工具集

minicpm5-deploy-lmstudio

智能体与模型

查看项目

更新于 10-16 03:05

技能介绍

用途:在 LM Studio 桌面界面中运行 MiniCPM5-1B,并暴露 OpenAI 兼容的本地服务接口。Apple Silicon 上可选两种运行时:GGUF(llama.cpp 引擎,跨平台,F16/Q8_0/Q4_K_M)与 MLX(仅 Apple Silicon,约快 60%,可自动拆分思考与回答,bf16/4-bit)。

主要能力与输入:可选参数包括 Runtime(gguf 或 mlx,Apple Silicon 默认 mlx,其他平台默认 gguf)、QUANT(Q4_K_M 或 4bit)、MODEL_NAME(默认 minicpm5-1b)。

使用方式:先安装并首次以 GUI 启动 LM Studio,命令行 lms 在未交互启动前会报 Cannot find LM Studio installation。GGUF 路径用 huggingface-cli download openbmb/MiniCPM5-1B-GGUF 下载到 ~/.lmstudio/models/openbmb/MiniCPM5-1B-GGUF/,再用 lms server start(绑定 127.0.0.1:1234)与 lms load minicpm5-1b --gpu max --context-length 8192 -y。MLX 路径需 MLX 格式权重,唯一已发布仓库为 openbmb/MiniCPM5-1B-MLX(4-bit affine,无单独 bf16/4bit 变体),也可本地转换。验证可向 /v1/chat/completions 发送请求。

限制:MLX 仅 Apple Silicon 可用,Intel Mac/Windows/Linux 只能用 GGUF。LM Studio 0.4.13 的 chat-completion 端点不会把 chat_template_kwargs.enable_thinking 传给 GGUF 运行时,默认即 think 模式;GGUF 下需手动前置空 think 块实现 nothink,MLX 则自动拆分 reasoning_content 与 content。若只需 CLI 或脚本运行、生产服务器或无 GUI 场景,资料建议改用其它部署方式。