Gemini Omni 是一个以视频为起点的多模态 AI 创作与编辑工具,官方将其定位为“从任意输入创建内容”。根据官方描述,它把 Gemini 的推理能力与生成式创作连接起来,强调对话式、参考感知、可迭代的创作方式,而不只是一次性的文本生成视频。
【用途】 Gemini Omni 面向视频生成、视频编辑与多模态创作。官方称其支持自然语言的分步视频编辑,可使用文字、图片、视频、音频作为参考,并借助世界知识和真实物理逻辑,实现连贯的多轮创作。
【主要能力】
- 对话式视频编辑:用自然语言修改动作、视觉风格和场景细节。
- 多模态视频创作:根据提示词和多模态参考生成连贯视频。
- 参考引导控制:用图片、视频或音频参考引导最终输出。
- 电影化场景生成:呈现真实世界逻辑、运动与电影化构图。
- 角色与风格一致性:在多轮迭代中保持主体和环境更一致。
- 运动与镜头方向:通过提示词控制节奏、运动和取景。
- 故事驱动输出:将不同素材组合成一个连贯结果。 官方列出的能力还包括:从任意输入创建内容;自然多轮对话;文字/图片/视频/音频输入;历史、科学与上下文知识;运动与力(重力、动能、流体动力学等)。
【使用方式】 官方指出,Google 引导用户通过 Gemini、Google Flow 和 YouTube Shorts 使用该技术。官方建议的流程包括:了解模型定位、查看产品示例、学习提示词结构(指定动作、场景、参考、声音、镜头和负面约束),然后在 Gemini 或 Google Flow 中开始生成。官方说明使用需要 Google AI 订阅,功能因订阅层级和地区而异。
【适用场景】 官方示例覆盖:视频重风格化与定向编辑(动作/风格/效果);参考引导视频(角色/产品/场景);科学与教育解说(物理/生物/历史);短视频社交内容(Shorts/Reels/TikTok);广告与产品概念(campaign/产品/故事);多模态合成。
【限制与说明】 Google 表示,在 Gemini 应用、Flow 或 YouTube 中创建或编辑的内容包含水印和内容凭证(SynthID 和 C2PA)。官方注明功能因订阅层级和地区而异,功能和方案可能变化,购买前应查看产品页面。官方页面未提供完整的实现细节。具体价格、免费额度、平台支持等信息暂未提供。