SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场ai-multimodal

ai-multimodal

智能体与模型

查看项目

更新于 10-16 11:55

技能介绍

用途

该资料描述的是一套多模态 AI 处理技能（AI Multimodal Processing Skill），用于通过 Google Gemini 的多模态 API 处理音频、图像、视频、文档，并生成图像，提供统一的多媒体内容理解与生成接口。

主要能力

  • 音频处理：带时间戳转写（最长 9.5 小时）、音频摘要与分析、语音理解与说话人识别、音乐与环境音分析、可控语音的文本转语音。
  • 图像理解：图像描述、目标检测（含边界框，2.0+）、像素级分割（2.5+）、视觉问答、多图对比（最多 3,600 张）、OCR 与文本提取。
  • 视频分析：场景检测与摘要、带时序理解的视频问答、带视觉描述的转写、YouTube URL 支持、长视频处理（最长 6 小时）、逐帧分析。
  • 文档提取：原生 PDF 视觉处理（最多 1,000 页）、表格与表单提取、图表分析、多页文档理解、结构化数据输出（JSON schema）、格式转换（PDF 转 HTML/JSON）。
  • 图像生成：文生图、图像编辑与修改、多图合成（最多 3 张）、迭代优化、多种宽高比（1:1、16:9、9:16、4:3、3:4）、可控风格与质量。

资料提供能力矩阵（转写、摘要、问答、目标检测、文本提取、结构化输出、TTS、时间戳、分割在不同模态下的支持情况）。

模型选择

  • Gemini 2.5 系列（推荐）：gemini-2.5-pro（最高质量，全功能，1M–2M 上下文）；gemini-2.5-flash（性价比最佳，全功能，1M–2M 上下文）；gemini-2.5-flash-lite（轻量，支持分割）；gemini-2.5-flash-image（仅图像生成）。
  • 特性要求：分割需 2.5+ 模型；目标检测需 2.0+ 模型；多视频需 2.5+ 模型；图像生成需 flash-image 模型。
  • 上下文窗口：2M tokens 约等于 6 小时视频（低分辨率）或约 2 小时（默认）；1M tokens 约等于 3 小时（低分辨率）或约 1 小时（默认）。音频 32 tokens/秒（1 分钟 = 1,920 tokens）；PDF 固定 258 tokens/页；图像按尺寸 258–1,548 tokens。

使用方式

  • API Key 设置：支持 Google AI Studio 与 Vertex AI。技能按顺序检查 GEMINI_API_KEY：进程环境变量 export GEMINI_API_KEY="your-key"、项目根目录 .env、.claude/.env、.claude/skills/.env、.claude/skills/ai-multimodal/.env。获取 API Key：https://aistudio.google.com/apikey。
  • Vertex AI：export GEMINI_USE_VERTEX=true；export VERTEX_PROJECT_ID=your-gcp-project-id；export VERTEX_LOCATION=us-central1（可选）。
  • 安装 SDK：pip install google-genai python-dotenv pillow
  • 常用命令示例（脚本用法）：
    • 转写音频：python scripts/gemini_batch_process.py --files audio.mp3 --task transcribe --model gemini-2.5-flash
    • 分析图像：python scripts/gemini_batch_process.py --files image.jpg --task analyze --prompt "Describe this image" --output docs/assets/<output-name>.md --model gemini-2.5-flash
    • 处理视频：python scripts/gemini_batch_process.py --files video.mp4 --task analyze --prompt "Summarize key points with timestamps" --output docs/assets/<output-name>.md --model gemini-2.5-flash
    • 从 PDF 提取：python scripts/gemini_batch_process.py --files document.pdf --task extract --prompt "Extract table data as JSON" --output docs/assets/<output-name>.md --format json
    • 生成图像：python scripts/gemini_batch_process.py --task generate --prompt "A futuristic city at sunset" --output docs/assets/<output-file-name> --model gemini-2.5-flash-image --aspect-ratio 16:9
    • 优化媒体：python scripts/media_optimizer.py --input large-video.mp4 --output docs/assets/<output-file-name> --target-size 100MB；批量：python scripts/media_optimizer.py --input-dir ./videos --output-dir docs/assets/optimized --quality 85
    • 文档转 Markdown：python scripts/document_converter.py --input document.docx --output docs/assets/document.md；提取页面：python scripts/document_converter.py --input large.pdf --output docs/assets/chapter1.md --pages 1-20

脚本概览：

  • gemini_batch_process.py：批量处理多种媒体文件，支持全部模态，进度跟踪与错误恢复，输出格式 JSON / Markdown / CSV，限流与重试，dry-run 模式。
  • media_optimizer.py：为 Gemini API 准备媒体，压缩音视频、调整图像尺寸、切分长视频、格式转换、质量与大小优化。
  • document_converter.py：将文档转为 PDF，支持 DOCX、XLSX、PPTX 转 PDF，提取页面范围，优化 PDF，提取 PDF 中图像，批量转换。
  • 运行任意脚本可加 --help 查看详细用法。

适用场景

适用于需要对音频、图像、视频、PDF 文档进行统一多模态理解与提取，以及进行文生图、图像编辑的场景；支持批处理、长内容处理与结构化输出。

限制与说明

  • 支持格式：音频 WAV、MP3、AAC、FLAC、OGG Vorbis、AIFF，单请求最长 9.5 小时，自动降采样为 16 Kbps 单声道；图像 PNG、JPEG、WEBP、HEIC、HEIF，单请求最多 3,600 张，≤384px 为 258 tokens，更大则平铺；视频 MP4、MPEG、MOV、AVI、FLV、MPG、WebM、WMV、3GPP，最长 6 小时（低分辨率）或 2 小时（默认），仅支持公开 YouTube URL；文档仅 PDF 支持视觉处理，最多 1,000 页，TXT、HTML、Markdown 支持纯文本。
  • 大小限制：内联请求总计 <20MB；File API 单文件 2GB，项目配额 20GB；保留 48 小时自动删除。
  • 价格：Gemini 2.5 Flash $1.00/1M 输入、$0.10/1M 输出；Gemini 2.5 Pro $3.00/1M 输入、$12.00/1M 输出；Gemini 1.5 Flash $0.70/1M 输入、$0.175/1M 输出；TTS：Flash TTS $10/1M tokens，Pro TTS $20/1M tokens。令牌速率：音频 32 tokens/秒，视频约 300 tokens/秒（默认）或约 100（低分辨率），PDF 258 tokens/页，图像 258–1,548 tokens。
  • 速率限制：免费层 10–15 RPM、1M–4M TPM、1,500 RPD；YouTube：免费层 8 小时/天，付费层无长度限制，仅公开视频；存储：每项目 20GB，每文件 2GB，保留 48 小时。
  • 错误处理：400 格式/大小无效，401 API key 无效，403 权限拒绝，404 文件未找到，429 超出速率限制（指数退避），500 服务器错误（退避重试）。
  • 最佳实践：多数任务用 gemini-2.5-flash；>20MB 或重复查询用 File API；上传前优化媒体；处理特定片段而非整段视频；静态内容用较低 FPS；重复查询使用上下文缓存；并行批处理多文件。