用途:ai-multimodal 是一个基于 Google Gemini 多模态 API 的 Agent 技能,用统一接口处理音频、图像、视频、文档并生成图像,覆盖内容理解与生成。
主要能力:音频方面支持带时间戳转写(最长约 9.5 小时)、摘要、说话人识别、音乐与环境音分析、可控语音的文本转语音;图像方面支持描述、对象检测(带边界框,需 2.0+ 模型)、像素级分割(需 2.5+)、视觉问答、多图比较(最多 3,600 张)、OCR;视频方面支持场景检测与摘要、带时序的问答、带视觉描述的转写、YouTube 公开链接、长视频(低分辨率最长 6 小时/默认 2 小时)、逐帧分析;文档方面支持 PDF 原生视觉处理(最多 1,000 页)、表格与表单提取、图表分析、多页理解、JSON 结构化输出、PDF 转 HTML/JSON;生成方面支持文生图、图像编辑、最多 3 图合成、迭代优化与多种宽高比。
使用方式:先准备 GEMINI_API_KEY(或 Vertex AI 变量),技能按进程环境、项目根 .env、.claude/.env、.claude/skills/.env、技能目录 .env 的顺序查找。安装依赖:pip install google-genai python-dotenv pillow。核心脚本为 gemini_batch_process.py,支持 --files、--task(transcribe/analyze/extract/generate)、--prompt、--output、--model、--format、--aspect-ratio 等参数,示例:python scripts/gemini_batch_process.py --files audio.mp3 --task transcribe --model gemini-2.5-flash。另有 media_optimizer.py(压缩、切分、转码)与 document_converter.py(DOCX/XLSX/PPTX 转 PDF、按页提取)。
适用场景:批量音视频转写与摘要、长视频时序问答、PDF 表格与结构化数据抽取、图像检测分割与 OCR、文生图与图像编辑。
限制:PDF 视觉处理仅限 PDF,TXT/HTML/Markdown 仅文本;分割需 2.5+、对象检测需 2.0+;上传有大小限制(内联 <20MB,File API 单文件 2GB、项目 20GB,48 小时自动删除);免费层有速率限制,YouTube 仅公开视频;API 密钥与定价以官方为准。