SuperAPI AI 工具集

vertex-ai-media-master

通用与其它

查看项目

更新于 10-15 23:30

技能介绍

用途:在 Google Cloud Vertex AI 上执行多模态媒体操作,覆盖视频理解、音频生成、图像创作与营销活动自动化,编排 Gemini 2.5 Pro/Flash、Imagen 4 和 Lyria 模型处理、分析并生成富媒体素材。

主要能力:视频分析(Gemini 2.5 Pro,低分辨率最长约 6 小时、默认约 2 小时);图像生成(Imagen 4 生成高质量静图,Gemini 2.5 Flash Image 支持图文交错输出);音频生成(Lyria 作曲与背景音轨);营销自动化(由单一提示生成多类素材)。输出包括 PNG/JPEG 图像、WAV/MP3 音频、视频分析报告(场景拆分、关键时刻时间戳、转录文本、营销洞察)、营销素材包(主图、社媒图、广告文案、邮件文案、视频脚本)及结构化 JSON 元数据。

使用方式:需启用 Vertex AI API 的 Google Cloud 项目;安装 SDK:pip install google-cloud-aiplatform[vision,audio];设置 GOOGLE_CLOUD_PROJECT 与 GOOGLE_APPLICATION_CREDENTIALS;服务账号需 roles/aiplatform.user 权限。初始化客户端并选择区域(推荐 us-central1),按任务选模型,准备输入媒体(上传至 Cloud Storage 的 gs:// URI 或本地路径),构造带明确参数的请求,执行并保存输出,交付前按品牌规范或 schema 校验。

限制与错误处理:需满足模型配额(Gemini 2.5 Pro 每分钟 200 万 token;Imagen 4 每分钟 100 张图)。权限不足需授予 IAM 角色;配额超限应批处理或改用 Gemini 2.5 Flash;图像生成 InvalidArgument 多因提示违反安全过滤或宽高比不支持(支持 1:1、16:9、9:16);视频超时可用低分辨率模式或分段;音频为空需明确流派、节奏、情绪与时长;模型 NotFound 需核对模型 ID 并尝试 us-central1。

适用场景:竞品视频广告分析、由产品简报生成营销素材、将长视频改写为短视频片段等。更多模型能力与代码模式见 ${CLAUDE_SKILL_DIR}/references/core-capabilities.md。