SuperAPI AI 工具集

ai-multimodal

编程与开发

查看项目

更新于 10-16 06:47

技能介绍

用途:这是一个基于 Google Gemini 多模态 API 的技能,用于处理音频、图像、视频、文档,以及生成图像,提供统一的多媒体理解与生成接口。

主要能力:音频支持带时间戳转写(最长 9.5 小时)、摘要、说话人识别、音乐与环境音分析、可控语音的文本转语音;图像支持描述、目标检测与边界框(2.0+)、像素级分割(2.5+)、视觉问答、多图比较(最多 3600 张)、OCR;视频支持场景检测与摘要、带时间理解的问答、视觉描述转写、YouTube 链接、长视频处理(最长 6 小时)、逐帧分析;文档支持原生 PDF 视觉处理(最多 1000 页)、表格表单提取、图表分析、多页理解、结构化 JSON 输出、PDF 转 HTML/JSON;图像生成支持文生图、编辑、多图合成(最多 3 张)、迭代优化与多种宽高比。

使用方式:需配置 GEMINI_API_KEY,脚本按进程环境、项目根 .env、.claude/.env、.claude/skills/.env、.claude/skills/ai-multimodal/.env 顺序查找;也可用 Vertex AI,设置 export GEMINI_USE_VERTEX=true、VERTEX_PROJECT_ID 等。安装 SDK:pip install google-genai python-dotenv pillow。脚本包括 gemini_batch_process.py、media_optimizer.py、document_converter.py,示例命令如 python scripts/gemini_batch_process.py --files audio.mp3 --task transcribe --model gemini-2.5-flash。

适用场景与限制:适合多模态批量分析、转写、提取与图像生成。需注意免费层限速 10-15 RPM、1500 RPD,YouTube 免费层 8 小时/天且仅公开视频,文件 2GB/个、项目 20GB、48 小时自动删除,Inline 请求小于 20MB,分割需 2.5+,目标检测需 2.0+。