SuperAPI AI 工具集

ai-multimodal

通用与其它

查看项目

更新于 10-16 04:28

技能介绍

用途:调用 Google Gemini 多模态 API,分析音频、图像、视频、文档,并生成图像与视频。

主要能力:音频转写(含时间戳、说话人、分段)与非语音分析;图像理解(描述、分类、VQA、检测分割、OCR、多图工作流、结构化 JSON 输出);视频分析(本地/内联/YouTube 输入、裁剪与 FPS 控制、多视频对比、时序问答、场景检测);图像生成(Imagen 4 标准/质量/速度型号);视频生成(veo-3.1-generate-preview,8 秒带音频片段);文档转 Markdown。

使用方式:设置 export GEMINI_API_KEY="your-key"(从 https://aistudio.google.com/apikey 获取),安装 pip install google-genai python-dotenv pillow。用 python scripts/check_setup.py 验证环境。分析媒体:python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>;生成内容:python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"。支持 stdin 管道,如 cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Describe this"。若 gemini 命令可用,可用 "<prompt>" | gemini -y -m gemini-2.5-flash。辅助脚本:media_optimizer.py 压缩/缩放/转换并分片;document_converter.py 转换 PDF/图像/Office 文档;各脚本支持 --help。

模型:分析用 gemini-2.5-flash(推荐)或 gemini-2.5-pro;图像生成用 imagen-4.0-generate-001、imagen-4.0-ultra-generate-001、imagen-4.0-fast-generate-001;视频生成用 veo-3.1-generate-preview。

限制:格式支持音频 WAV/MP3/AAC(9.5 小时)、图像 PNG/JPEG/WEBP(3.6k)、视频 MP4/MOV(6 小时)、PDF(1k 页);大小限制内联 20MB、File API 2GB。详细参考见 references/ 下音频、图像、图像生成、视频分析、视频生成文档。费用与定价资料未在正文中给出具体数值。