用途
该技能用于为不同的 AI 视频生成模型生成优化后的提示词,帮助用户根据具体镜头需求选择最合适的模型,并按照各模型的特性结构化提示词,从而获得更专业的视频生成效果。
主要能力
- 选择最优模型:根据镜头类型和需求,在 Veo 3.1、Runway Gen-3、Kling 2.6、Pika 2.2 之间进行选择。
- 按模型结构化提示词:为每个平台提供优化的提示词格式。
- 配置技术参数:时长、分辨率、宽高比等。
- 指导图像转视频工作流:上传并动画化故事板帧。
- 规划场景扩展:生成超过 8 秒的连续片段。
模型选择指南
| 需求 | 推荐模型 | 原因 |
|---|---|---|
| 原生同步音频 | Veo 3.1 | 唯一集成音频生成的模型 |
| 精确相机控制 | Runway Gen-3 | 方向性相机控制 |
| 面部驱动/表演 | Kling 2.6 | 基于参考视频的运动控制 |
| 图像间转场 | Pika 2.2 | Pikaframes 专为此优化 |
| 预算有限 | Pika 2.2 | 慷慨的免费增值模式 |
| 最高质量 | Veo 3.1 | 原生 1080p,最佳一致性 |
| 快速实验 | Pika 2.2 | 快速迭代 |
| 角色复用 | Kling 2.6 | 角色参考 |
决策矩阵
- Q1:需要同步音频吗?是 → Veo 3.1;否 → 继续。
- Q2:有表演视频需要迁移吗?是 → Kling 2.6;否 → 继续。
- Q3:需要精确相机控制吗?是 → Runway Gen-3;否 → 继续。
- Q4:预算有限吗?是 → Pika 2.2;否 → Veo 3.1(默认质量)。
各模型提示词结构
Veo 3.1
基本格式: [镜头类型] of [主体] [动作] in [场景]。 [相机运动]。[光照]。[风格/氛围]。 [音频描述(如需要)]。
参数:时长 4-8 秒/次生成;分辨率 1080p;宽高比 16:9 或 9:16;音频默认启用(对话、音效、环境音)。
提示:明确描述所需音频;使用电影术语(dolly、tracking、pan);详细指定光照;包含环境音以获得更好匹配。
场景扩展:生成初始片段(8 秒)→ 下载 → 在 Flow/Gemini 中“Extend this scene with [continuation]” → 模型使用最后一秒作为参考 → 重复至所需时长。
Runway Gen-3 Alpha
基本格式: [描述性场景]。[主体动作]。[相机指令]。 [光照与氛围]。[风格参考]。
参数:时长 5 或 10 秒;模式:文生视频或图生视频;相机控制:方向 + 强度;首帧/尾帧:定义开始和/或结束。
相机控制选项:Pan Left/Right(水平旋转)、Tilt Up/Down(垂直旋转)、Dolly In/Out(前后移动)、Truck Left/Right(横向移动)、Pedestal Up/Down(垂直移动)、Zoom In/Out(焦距变化)、Static(无运动)。强度:Low / Medium / High。
首帧/尾帧技术:首帧作为起点;尾帧作为终点;两者结合实现两图之间的动画转场。
图生视频工作流:上传放大后的故事板帧 → 选择“First Frame”或“Last Frame” → 编写描述所需运动的提示词 → 配置相机控制 → 生成(标准 10 积分/秒)。
Kling 2.6 运动控制
核心概念:运动迁移。Kling 2.6 允许用真实表演视频“驱动”生成的角色。
所需输入:参考图像(所需角色/外观)、驱动视频(表演视频,含动作和表情)、文本提示(补充指令)。
提示格式: [与参考图像匹配的主体描述]。 [场景/环境]。[风格]。 Motion: Transfer expressions and movements from driving video.
最佳实践:驱动视频背景简单、对比度高;主体轮廓清晰;适用于表情、唇部、全身动作;避免过快或过于复杂的动作。
用例:1 个演员 → N 个角色(1 个驱动视频,N 个参考图像);唇同步对话;表演舞蹈;伦理深度伪造(需主体授权)。
Pika 2.2
基本格式: [场景描述]。[动作]。[风格]。
参数:时长最长 10 秒;分辨率 1080p;特殊工具:Pikaframes、Pikaswaps、Pikadditions。
Pikaframes(转场):在 2-5 张图像之间动画化流畅转场。
Pikaswaps(对象替换):替换现有视频中的元素。
Pikadditions(添加元素):在现有素材中插入元素。
最佳实践:提示词比 Veo/Runway 更短更直接;适合快速实验;使用 Pikaframes 实现前后对比变换;Pikaswaps 适合产品变体。
动画工作流
阶段 1:准备帧——获取放大后的故事板帧,清晰命名(如 S01_Shot01_Wide.png),按场景组织。
阶段 2:按模型生成——为每个帧选择模型并生成。
阶段 3:场景扩展(如需要)——对于超过 8 秒的片段,使用上一片段最后一帧进行场景扩展,重复。
阶段 4:导出与合成——推荐格式:MP4、H.264、1080p、24fps;色彩 Rec. 709;音频 AAC 48kHz(如使用 Veo)。合成工具:DaVinci Resolve(免费)、Premiere Pro、Final Cut Pro。
检查清单与模板
提示词验证:镜头类型、主体、动作、环境、光照、风格/氛围是否明确。
按模型检查:Veo 3.1 需包含音频描述和电影术语;Runway Gen-3 需配置相机控制和首/尾帧;Kling 2.6 需准备参考图像和驱动视频,并在提示中指定运动迁移;Pika 2.2 需选择合适工具并上传输入图像。
各模型模板已提供。
成本对比
| 模型 | 模式 | 成本/秒 | 30 秒 = |
|---|---|---|---|
| Veo 3.1 Fast | API | $0.15 | $4.50 |
| Veo 3.1 Standard | API | $0.40 | $12.00 |
| Runway Gen-3 Alpha | 积分 | 10 cr (~$0.45) | ~$13.50 |
| Runway Gen-3 Turbo | 积分 | 5 cr (~$0.22) | ~$6.60 |
| Kling 2.6 Standard | 积分 | 可变 | ~$5-15 |
| Pika 2.2 | 免费增值 | $0(有限) | $0-10 |
适用场景
- 将故事板帧动画化为视频。
- 根据需求选择 Veo、Runway、Kling 或 Pika。
- 通过结构化提示词优化生成质量。
- 创建流畅转场(场景扩展、首/尾帧)。
- 使用运动控制(Kling 的面部驱动和表演迁移)。
限制
资料未提供关于各模型的具体可用性、地区限制、API 访问条件等详细信息。成本数据可能随时间变化,请以官方最新信息为准。