SuperAPI AI 工具集

ai-multimodal

通用与其它

查看项目

更新于 10-16 01:50

技能介绍

用途:通过 Google Gemini 多模态 API 统一处理音频、图像、视频、PDF 文档,并支持图像生成,适用于内容理解、转录、摘要、问答与结构化提取等场景。

主要能力:音频支持带时间戳转录(最长 9.5 小时)、摘要、说话人识别、音乐与环境音分析及可控语音的文本转语音;图像支持描述、目标检测(2.0+)、像素级分割(2.5+)、视觉问答、多图比较(最多 3600 张)、OCR;视频支持场景检测、时序问答、带视觉描述的转录、YouTube URL、长视频(最长 6 小时)与帧级分析;文档支持原生 PDF 视觉处理(最多 1000 页)、表格表单提取、图表分析、JSON 结构化输出与格式转换;生成支持文生图、图像编辑、多图合成(最多 3 张)、多宽高比。

使用方式:先配置 API Key,技能按顺序查找 GEMINI_API_KEY:进程环境变量 export GEMINI_API_KEY="your-key"、项目根 .env、.claude/.env、.claude/skills/.env、.claude/skills/ai-multimodal/.env。Vertex AI 需设置 export GEMINI_USE_VERTEX=true、export VERTEX_PROJECT_ID=your-gcp-project-id,可选 VERTEX_LOCATION。安装依赖:pip install google-genai python-dotenv pillow。常用脚本包括 gemini_batch_process.py(批量处理,支持 --files、--task、--prompt、--output、--model、--format、--aspect-ratio)、media_optimizer.py(压缩、缩放、切分、格式转换)、document_converter.py(DOCX/XLSX/PPTX 转 PDF、提取页范围)。模型可选 gemini-2.5-pro、gemini-2.5-flash、gemini-2.5-flash-lite、gemini-2.5-flash-image。

限制:分割需 2.5+,目标检测需 2.0+,多视频需 2.5+,图像生成需 flash-image。内联请求 <20MB,File API 单文件 2GB、项目配额 20GB、48 小时自动删除。免费层约 10-15 RPM、1M-4M TPM、1500 RPD,YouTube 免费层 8 小时/天且仅公开视频。资料给出部分定价与令牌速率,实际以官方为准。