SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场gemini-3-multimodal

gemini-3-multimodal

智能体与模型

查看项目

更新于 10-15 11:23

技能介绍

用途

Gemini 3 Pro 多模态输入处理是一份用于处理多种媒体输入的技能指南，重点覆盖输入侧处理（分析媒体内容）。与之相对，图像生成属于输出侧能力，见 gemini-3-image-generation 技能。

主要能力

  • 图像理解：物体检测、OCR、视觉问答、从截图生成代码
  • 视频处理：支持最长 1 小时视频，帧分析、OCR
  • 音频处理：支持最长 9.5 小时音频，语音理解
  • PDF 文档：原生 PDF 支持、多页分析、文本抽取
  • 媒体分辨率控制：低/中/高，用于优化 token
  • Token 优化：对处理成本进行细粒度控制

使用方式

前置条件：完成 Gemini API 配置（参见 gemini-3-pro-api 技能），并准备受支持格式的媒体文件。

Python 快速上手：

import google.generativeai as genai
from pathlib import Path

genai.configure(api_key="YOUR_API_KEY")
model = genai.GenerativeModel("gemini-3-pro-preview")

# Upload and analyze image
image_file = genai.upload_file(Path("photo.jpg"))
response = model.generate_content([
    "What's in this image?",
    image_file
])
print(response.text)

Node.js 快速上手：

import { GoogleGenerativeAI } from "@google/generative-ai";
import { GoogleAIFileManager } from "@google/generative-ai/server";
import fs from "fs";

const genAI = new GoogleGenerativeAI("YOUR_API_KEY");
const fileManager = new GoogleAIFileManager("YOUR_API_KEY");

// Upload and analyze image
const uploadResult = await fileManager.uploadFile("photo.jpg", {
  mimeType: "image/jpeg"
});

const model = genAI.getGenerativeModel({ model: "gemini-3-pro-preview" });
const result = await model.generateContent([
  "What's in this image?",
  { fileData: { fileUri: uploadResult.file.uri, mimeType: uploadResult.file.mimeType } }
]);

console.log(result.response.text());

任务 1：分析图像内容

目标：从图像中提取信息、物体、文本或洞察。

适用场景：物体检测与识别、OCR（从图像提取文本）、视觉问答、从 UI 截图生成代码、图表分析、产品识别。

配置高分辨率示例（OCR 最佳质量）：

model = genai.GenerativeModel(
    "gemini-3-pro-preview",
    generation_config={
        "thinking_level": "high",
        "media_resolution": "high"  # 1,120 tokens per image
    }
)

分辨率选项（图像）：low 为 280 tokens，适合快速分析、低细节；medium 为 560 tokens，质量与成本均衡；high 为 1,120 tokens，适合 OCR、细节、小文字。支持格式：JPEG、PNG、WEBP、HEIC、HEIF。

任务 2：处理视频内容

目标：分析视频内容、提取洞察、逐帧分析。

适用场景：视频摘要、物体追踪、场景检测、视频 OCR、内容审核、教学视频分析。

视频规格：最大时长 1 小时；格式包括 MP4、MOV、AVI 等；分辨率选项为 low（70 tokens/帧）、medium（70 tokens/帧）、high（280 tokens/帧）；高分辨率下可用 OCR。上传后需轮询文件状态，等待 PROCESSING 结束，若为 FAILED 则报错。

任务 3：处理音频/语音

目标：转录并理解音频内容，处理语音。

适用场景：音频转录、语音分析、播客摘要、会议记录、语言理解、音频分类。

音频规格：最大时长 9.5 小时；格式包括 WAV、MP3、FLAC、AAC 等；支持多种语言。同样需要在上传后轮询处理状态。

任务 4：处理 PDF 文档

目标：从 PDF 文档中提取并分析内容。

适用场景：文档分析、信息抽取、表单处理、研究论文分析、合同审阅、多页文档理解。

PDF 处理要点：推荐 medium 分辨率（560 tokens/页，质量饱和点）；自动处理所有页面；原生支持，无需转换为图像；内置高质量文本抽取。

任务 5：优化媒体处理成本

目标：根据使用场景平衡质量与 token 消耗。

对照建议：

  • 图像：low 280（快速浏览、缩略图）、medium 560（通用分析）、high 1,120（OCR、细节、代码）
  • PDF：medium 560/页为推荐（饱和点）；high 1,120/页 收益递减
  • 视频：low/medium 70/帧 适合多数场景；high 280/帧 用于视频 OCR

可为同一请求中的不同媒体分别设置分辨率：

response = model.generate_content([
    "Compare these images",
    {"file": image1, "media_resolution": "high"},
    {"file": image2, "media_resolution": "low"},
])

成本监控示例中给出输入价格按每百万 token 2.00 计、输出按每百万 token 12.00 计的记录方式（供成本跟踪参考）。

媒体分辨率控制

分辨率设置对图像、PDF、视频（每帧）的 token 消耗不同：low 为 280/280/70；medium 为 560/560/70；high 为 1,120/1,120/280。全局设置通过 generation_config 的 media_resolution 生效，也可在请求中按单项设置。

最佳实践：图像 OCR/文本抽取用 high，通用分析用 medium；PDF 用 medium（饱和点）；视频除 OCR 外使用 low 或 medium；成本控制上先用 low，质量不足再提高。

适用场景与限制

适用于需要分析图像、照片、截图、视频、音频/语音与 PDF 文档，构建多模态应用，或需要优化媒体处理成本的开发者。限制与规格方面：视频最长 1 小时，音频最长 9.5 小时；图像受支持格式为 JPEG、PNG、WEBP、HEIC、HEIF；PDF 为原生支持。关于收费、价格与具体计费细节，资料仅提供了示例代码中的成本估算方式，其余暂未提供。