SuperAPI AI 工具集

gemma4-local-deploy

部署与运维

查看项目

更新于 10-16 06:44

技能介绍

用途:把 Gemma 4 12B 的 GGUF 版本部署为本机模型服务,默认走 llama.cpp / llama-server、Apple Metal、Q4_K_M 与 tmux,只监听 loopback;仅在用户明确要求 QAT、256K、对比演示或 Ollama 时切换路线。

主要能力:检查本机硬件、磁盘、端口、进程与模型缓存;安装或升级软件包、下载选定模型、创建专用模型目录与 tmux 会话;提供 OpenAI 兼容 API;部署后做健康、模型列表与聊天验证。

默认配置:模型仓库 ggml-org/gemma-4-12B-it-GGUF,量化 Q4_K_M,模型名 gemma-4-12b-it,端点 http://127.0.0.1:8080,上下文 32768,后台会话 gemma4-12b,默认 --reasoning off。长上下文需用户明确要求时选 65536 或 131072;QAT 仓库为 google/gemma-4-12B-it-qat-q4_0-gguf,Q4_0、262144 上下文。

使用方式:先执行现状检查命令(如 command -v llama-server、lsof -nP -iTCP:8080 -sTCP:LISTEN、system_profiler SPHardwareDataType、df -h "$HOME"),再选择并复述 profile,执行一条部署路线,最后验证 /health、/v1/models 与一次非空聊天响应。

适用场景:日常聊天、编码、低风险本地 API、长上下文或 QAT 对比演示。

限制:停止非本技能进程、覆盖已有模型、监听公网、改防火墙或下载未选大型变体前需先升级确认;QAT 不等于无损;未验证数据须写“未验证”,不能用计划值代替运行值。