SuperAPI AI 工具集

multimodal-gen

设计与创作

查看项目

更新于 10-15 08:00

技能介绍

多模态内容生成技能用于在用户提出图片或视频生成需求时,自动调用 multimodal-agent 进行处理。

用途 当用户需要生成图片或视频时使用此技能,覆盖文生图、文生视频等场景。触发表达包括:生成一张图片、画一张……、AI 作图、文生图、帮我生成图像、用 flux/imagen/dalle 生成;以及生成一个视频、做个视频、文生视频、用 veo/sora/kling 生成视频。

主要能力 技能可识别图片生成或视频生成请求,提取用户描述,选择相应模型,并调用 multimodal-agent 执行生成。可用模型如下。

图片生成模型:flux 对应 flux-pro-max,特点为高质量、推荐;imagen 对应 google/imagen-4-ultra,特点为 Google 最强;dalle 对应 gpt-image-1,即 DALL-E 3;doubao 对应 doubao-seedream-4-5,特点为中式美学;klingimg 对应 kling-image,即可灵生图。

视频生成模型:veopro 对应 veo3.1-pro,Google 专业版;veo4k 对应 veo3.1-pro-4k,4K 高清;sora 对应 sora-2-pro-all,OpenAI Sora;kling 对应 kling-video,可灵视频。

使用方式 技能通过 sessions_spawn 自动调用 multimodal-agent,调用形式为:sessions_spawn(agentId="multimodal-agent", task="生成图片: {用户描述}, 使用 {模型} 模型")。

执行流程为:识别请求类型,提取描述,选择默认模型(图片为 flux-pro-max),随后调用 sessions_spawn 传入 agentId 与 task,由 multimodal-agent 执行生成并返回结果。

示例 生成图片:用户说“帮我生成一张日落海滩的图片”,执行 sessions_spawn(agentId="multimodal-agent", task="生成图片: 日落时分的海滩,金色阳光洒在海面上,使用 flux 模型")。

生成视频:用户说“用 sora 生成一个猫咪玩耍的视频”,执行 sessions_spawn(agentId="multimodal-agent", task="生成视频: 一只可爱的猫咪在草地上玩耍,使用 sora 模型")。

指定模型:用户说“用 doubao 画一张中国风山水画”,执行 sessions_spawn(agentId="multimodal-agent", task="生成图片: 中国风山水画,云雾缭绕的山峰,使用 doubao 模型")。

模型选择建议 通用高质量推荐 flux;中式风格推荐 doubao;写实照片推荐 imagen;创意艺术推荐 dalle;高清视频推荐 veo4k;电影级视频推荐 sora;快速视频推荐 kling。

适用场景 适用于需要快速生成图片或视频的对话式场景,用户可用自然语言描述内容,也可指定模型别名以获得特定风格或质量。

限制与注意事项 multimodal-agent 会自动优化用户的描述。若用户未指定模型,图片默认使用 flux,视频默认使用 veopro。视频生成可能需要较长时间,会在后台异步执行。生成完成后会自动发送结果给用户。关于收费、价格、平台支持范围等信息,资料暂未提供。