用途:统一调用 Google Gemini 多模态 API,完成音频、图像、视频、PDF 文档的理解与生成,并提供批处理脚本。
主要能力:音频支持带时间戳转录(最长约9.5小时)、摘要、说话人识别、音乐与环境音分析、可控制音色的文本转语音;图像支持描述、目标检测(2.0+)、像素级分割(2.5+)、视觉问答、多图比较(最多3600张)与 OCR;视频支持场景检测、带时序的问答、带视觉描述的转录、YouTube URL、最长6小时处理与帧级分析;文档支持 PDF 原生视觉处理(最多1000页)、表格表单与图表抽取、JSON schema 结构化输出以及 PDF 转 HTML/JSON;还支持文生图、图像编辑与多图合成(最多3张)。
使用方式:需在环境变量或各级 .env 中配置 GEMINI_API_KEY,支持 Vertex AI(GEMINI_USE_VERTEX、VERTEX_PROJECT_ID、VERTEX_LOCATION)。安装:pip install google-genai python-dotenv pillow。常用脚本如 python scripts/gemini_batch_process.py --files audio.mp3 --task transcribe --model gemini-2.5-flash,也可用 --task analyze、--task extract、--task generate 与 --aspect-ratio;另有 media_optimizer.py 与 document_converter.py,可加 --help 查看用法。
适用场景:批量音视频转录与摘要、图像/视频问答与检测、PDF 结构化抽取、图像生成与编辑。
限制:分割需2.5+、目标检测需2.0+、图像生成需 flash-image 模型;内联上传小于20MB,File API 单文件2GB、项目配额20GB、48小时自动删除;格式与时长受限,YouTube 仅公开视频。资料含具体定价与速率限制数值,实际以官方为准。