用途:该技能通过 Google Gemini 多模态 API 统一处理音频、图像、视频、PDF 文档,并执行文生图与图像编辑,面向需要批量理解或生成多媒体内容的场景。
主要能力:音频支持带时间戳转写(最长约 9.5 小时)、摘要、说话人识别、音乐与环境音分析及可控语音的文本转语音;图像支持描述、目标检测(需 2.0+)、像素级分割(需 2.5+)、视觉问答、多图对比(最多 3,600 张)与 OCR;视频支持场景检测、带时间理解的问答、带视觉描述的转写、YouTube 公开链接与最长约 6 小时处理;文档支持原生 PDF 视觉处理(最多 1,000 页)、表格表单与图表提取、JSON 结构化输出和格式转换;图像生成支持文生图、编辑、多图合成(最多 3 张)、多宽高比与迭代优化。
使用方式:需先配置 API 密钥,技能按顺序检查进程环境变量 GEMINI_API_KEY、项目根 .env、.claude/.env、.claude/skills/.env、.claude/skills/ai-multimodal/.env;Vertex AI 需设置 GEMINI_USE_VERTEX=true、VERTEX_PROJECT_ID 和可选的 VERTEX_LOCATION。安装依赖:pip install google-genai python-dotenv pillow。常用脚本为 gemini_batch_process.py(批处理)、media_optimizer.py(压缩/缩放/切分)、document_converter.py(DOCX、XLSX、PPTX 转 PDF 并提取页面),可运行 --help 查看用法。
限制:内联请求小于 20MB;File API 单文件 2GB、项目配额 20GB、48 小时自动删除;分割需 2.5+、目标检测需 2.0+、多视频需 2.5+、图像生成需 flash-image 模型;仅公开 YouTube 视频;PDF 视觉处理仅限 PDF。免费层有速率与时长限制。资料给出模型与 Token 计费参考,实际以官方为准。