SuperAPI AI 工具集

ai-multimodal

智能体与模型

查看项目

更新于 10-15 17:26

技能介绍

AI Multimodal 是一套基于 Google Gemini 多模态 API 的技能,用于处理音频、图像、视频、文档,并生成图像与视频。

用途与能力:支持音频转写、内容分析、信息提取,支持图像理解与生成、视频分析与生成。内置多个脚本:gemini_batch_process.py 作为 CLI 编排器处理 transcribe/analyze/extract/generate/generate-video;media_optimizer.py 用 ffmpeg/Pillow 压缩、缩放、转换并切分长音视频;document_converter.py 将 PDF、图像、Office 文档转为保留 Markdown 的文本;check_setup.py 检查环境与 API Key 并做实时调用。

使用方式:先执行 export GEMINI_API_KEY="your-key"(从 https://aistudio.google.com/apikey 获取),再 pip install google-genai python-dotenv pillow。验证用 python scripts/check_setup.py;分析媒体用 python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>;生成内容用 python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"。支持 stdin 管道输入。可选配置 GEMINI_API_KEY_2、GEMINI_API_KEY_3 实现键轮换,遇 429/RESOURCE_EXHAUSTED 自动切换,单键 60 秒冷却。模型包括 imagen-4.0-generate-001、imagen-4.0-ultra-generate-001、imagen-4.0-fast-generate-001、veo-3.1-generate-preview、gemini-2.5-flash、gemini-2.5-pro。

限制:音频 WAV/MP3/AAC 最长 9.5 小时,图像 PNG/JPEG/WEBP 最多 3.6k,视频 MP4/MOV 最长 6 小时,PDF 最多 1k 页;内联 20MB,File API 2GB。音频或视频超过 15 分钟时转写常因输出 token 限制被截断,需切分为不超过 15 分钟的分段后再合并。转写输出要求 Markdown 格式,含时长、文件大小、生成日期、描述、文件名、主题等元数据,并按 [HH:MM:SS -> HH:MM:SS] 分段。计费、价格与配额等细节以官方文档 https://ai.google.dev/pricing 为准,资料中暂未提供具体费用信息。