SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场gemma-dev

gemma-dev

智能体与模型

查看项目

更新于 10-15 18:15

技能介绍

用途

gemma-dev 是一个在构建 Gemma 相关应用或需要了解 Gemma 模型通用知识（如提示结构、模型能力）时触发的技能。它的目标是帮助开发者针对具体场景选择合适的模型与工具链，而不是直接生成底层训练代码。

主要能力

核心原则：优先应用层工具

除非用户明确要求「训练」「微调」或「研究」，否则不生成原始 PyTorch、TensorFlow 或 transformers 代码，默认使用为应用开发优化的高层框架和 SDK。

模型选择指导

不盲目默认使用 gemma-3-1b-it，而是根据用户的领域、技术约束和所需输入模态推荐具体模型。在推荐标准模型时严格默认 Gemma 4 代，若库不支持 Gemma 4 架构，则先更新库后重试。

核心 Gemma 模型（均具备 Thinking Mode）：

  • Gemma 4（26B A4B / 31B）：仓库 google/gemma-4-26B-A4B-it、google/gemma-4-31B-it；支持文本与图像输入，256K 上下文窗口；适用于高级多模态推理、复杂视觉任务和超长文档分析。26B A4B 采用 MoE 架构，31B 为稠密变体。
  • Gemma 4（12B）：仓库 google/gemma-4-12B-it；支持文本、图像、音频，256K 上下文窗口；适用于笔记本和消费设备上的多模态推理。
  • Gemma 4（E2B / E4B）：仓库 google/gemma-4-E2B-it、google/gemma-4-E4B-it；支持文本、图像、音频，128K 上下文窗口；适用于移动端 NPU 加速及需要原生音频处理的端侧工作流。

旧代与轻量模型（Gemma 3）：

  • Gemma 3（4B / 12B / 27B）：支持文本与图像，128K 上下文窗口；适用于硬件明确针对上一代架构优化的场景。
  • Gemma 3（270M / 1B）：仅支持文本，32K 上下文窗口；适用于资源严重受限环境下的快速轻量文本生成或边缘计算。

任务专用变体：

  • RAG / 向量检索：使用 EmbeddingGemma 2（仓库 google/embeddinggemma-2），支持最多 8k token，输出维度可在 128 至 768 间灵活设置。
  • 内容审核：使用 ShieldGemma 2（仓库 google/shieldgemma-2-4b-it），可与主 LLM 并行运行以确保安全合规。

部署工作流

  • 原型与演示：使用 Gradio 与 Transformers 进行快速交互式 UI 原型（参考 assets/gradio-app.py）。
  • Web 与客户端应用：使用 transformers.js 在端侧或浏览器内运行推理（参考 assets/transformers-js-app.js）。注意必须安装 Hugging Face 版本（npm i @huggingface/transformers），而非 Xenova 版本（npm i @xenova/transformers）。
  • 企业云部署：使用 Vertex AI 进行容器化、可扩展的云原生生产部署（参考 assets/vertex-ai-app.py），需设置环境变量 GOOGLE_CLOUD_PROJECT、GOOGLE_CLOUD_LOCATION（如 us-central1）和 GOOGLE_CLOUD_ENDPOINT_ID。
  • Apple Silicon（MLX）：在 Mac Apple Silicon 硬件上推荐 MLX，主要针对文本工作流。简易路径为使用 Ollama 及 gemma4:26b、gemma4:31b 等标签；进阶路径为使用 mlx-lm 包（pip install mlx-lm）进行直接控制、自定义量化和微调（LoRA/QLoRA）。

推理加速：多 Token 预测（MTP）

当需要更快推理或更低延迟时，可推荐 Gemma 4 内置的投机解码技术 MTP。它使用轻量草稿（assistant）模型提出多个候选 token，由完整目标模型单次前向验证，在保证输出质量的同时显著提速。每个 Gemma 4 目标模型都有对应 assistant 模型，命名规则为 <target-model-id>-assistant，例如：

  • google/gemma-4-E2B-it-assistant
  • google/gemma-4-E4B-it-assistant
  • google/gemma-4-12B-it-assistant
  • google/gemma-4-31B-it-assistant
  • google/gemma-4-26B-A4B-it-assistant

量化感知训练（QAT）

对于需要极致效率且尽量不损失质量的部署，Gemma 提供官方 QAT 模型。与标准训练后量化（PTQ）不同，QAT 在训练过程中集成量化模拟。按目标部署引擎推荐：

  • llama.cpp / LM Studio（本地）：{model-name}-qat-q4_0-gguf（单文件 GGUF）。
  • vLLM / SGLang：服务器端 {model-name}-qat-w4a16-ct，移动端 {model-name}-qat-mobile-ct，使用压缩张量、4 位权重与 16 位激活。
  • 投机解码：{model-name}-qat-q4_0-unquantized 搭配对应 assistant 草稿模型 {model-name}-qat-q4_0-unquantized-assistant。
  • 其它格式：{model-name}-qat-q4_0-unquantized（未量化权重，用于转换为 MLX 等格式）。
  • 移动端部署（Transformers）：{model-name}-qat-mobile-transformers（2 位解码层、优化 KV 缓存、静态激活）。

官方 Hugging Face 集合：

  • collections/google/gemma-4-qat-q4_0：包含 -unquantized/-assistant（E2B、E4B、12B、26B A4B、31B）、-gguf（E2B、E4B、12B、26B A4B、31B）、-w4a16-ct（E2B、E4B、12B、31B）。
  • collections/google/gemma-4-qat-mobile：包含 -mobile-transformers / -mobile-ct（E2B、E4B）。

使用方式

文档检索

当已安装 MCP 时（首选）：若存在 Google MCP 服务器的 search_documentation 工具，应将其作为唯一文档来源，调用后阅读返回文档，并把 MCP 结果作为 API 细节的权威来源。存在 MCP 工具时不要手动抓取 URL。

当未安装 MCP 时（仅作为回退）：使用 fetch_url 获取官方文档。先抓取索引 URL（https://ai.google.dev/gemma/docs/llms.txt）以发现可用页面，再按需抓取具体页面，关键参考页包括：Gemma 4 提示格式化、文本生成、函数调用、图像理解、音频理解、Thinking Mode、文本嵌入、多模态嵌入、MTP 概述、MTP with Transformers、DiffusionGemma。

适用场景

适用于基于 Gemma 系列模型构建应用、选择模型与部署方案、加速推理、量化部署，或查询 Gemma 通用知识（如提示结构、模型能力）的开发场景。

限制

资料未提供该技能的收费、价格、平台支持范围及具体使用步骤等信息；除上述内容外，其它功能与效果暂未提供。