seedance-motion 是 Seedance 2.0 的动作控制技能,版本为 v5.0,主题为“意图优先的编排(Intent-First Choreography)”。它覆盖动作控制、动作编排与视频扩展,主张用意图驱动的描述代替微观管理。
核心理念
对于动作,应描述意图与结果,而不是精确的时间戳,让 AI 导演来处理中间插值。
推荐工作流:意图 + @Video 参考
这是所有动作与打斗场景最可靠的方法。
第一步:寻找参考视频。找一段真实世界的视频片段(例如来自电影、特技表演或电子游戏),捕捉你想要的动作风格,将其上传为 @Video1。
第二步:编写基于意图的提示词。用 1-3 句话描述高层动作,使用程度副词和物理后果,然后明确告诉模型参考上传的视频。示例命令:
seedance generate "Characters: A references @Image1; B references @Image2. Choreography: The archer fires two arrows; the mage deflects them with a violet energy shield, then closes distance and blasts the archer into a tree with a shockwave. The archer draws a short blade and counter-attacks in close combat. Reference the fight actions, character movements, and camera work from @Video1. Match the gritty, handheld style of @Video1."
--image archer.png --image mage.png --video fight_ref.mp4
--duration 10 --wait
之所以有效:@Video1 参考为模型提供了丰富、密集且无歧义的理解,涵盖所需动作、物理与镜头语言,其效果始终优于任何纯文本描述。关于 @reference 系统的更多内容,可参见 [ref:reference-workflow]。
纯文本工作流:基于意图的描述
当你没有参考视频时使用此方法。关键是保持简单,并执行“每镜头一个动作”规则。
seedance generate @fight_prompt.txt --image charA.png --image charB.png --duration 10 --audio-gen --wait
其中 fight_prompt.txt 包含:
Characters: A references @Image1; B references @Image2. Shot 1: A throws a right hook at B's jaw. Shot 2: B ducks under the punch and sweeps A's legs. Shot 3: A jumps, landing a spinning back kick to B's shoulder. Shot 4: B staggers backward two steps, recovering his balance. Camera: Medium shot, tracking the action. Slight handheld shake on impacts. Physics: Dust puffs up from the ground on the leg sweep. A wet impact sound accompanies each hit.
纯文本动作的关键原则:
- 每镜头一个动作:不要把多个不同动作(如出拳、格挡、踢腿)串进同一句话或同一镜头,要拆开。
- 程度副词:使用 violently、gracefully、slowly、frantically 等词引导模型对动作的理解。
- 物理后果:描述动作的结果,如尘土扬起、火花飞溅、水花四溅、角色踉跄。
实验性工作流:微编排
⚠️ 警告:这是高级实验性技术,对大多数用户不可靠,常导致抖动、变形与生成失败。生产环境请使用上述基于意图的工作流。
微编排指用时间戳或网格格式指定动作。它提供最高的控制潜力,但也最可能失败。
网格法(25宫格)表头为:Beat、Camera、Action、SFX。示例行:1 / Full shot, locked / B right punch → A face / drum "dong" + wind;2 / Close-up / A crossguard block / impact "peng";3 / Medium / A wrist flip counter / ground crack。
时间戳法示例:0-1s: A throws a punch. 1-2s: B blocks. 2-3s: A follows with a kick.
何时使用:仅用于短小、技术性极强的序列,其中每个节拍的精确时序至关重要,且你准备好反复迭代以获得可用结果。
诊断工具
以下概念用于诊断失败的动作提示词,而非构建提示词的硬性规则。
- 节拍密度:如果输出模糊或抖动,可能是短时间内塞入了过多动作。模型通常每 5 秒能处理 1-2 个不同节拍。高密度提示词需要实验性的微编排格式。
- 时序语言:使用相对表述(eases in over 2 seconds)或描述性副词(accelerates into a run),而非硬时间戳,以获得更平滑自然的动作。
维护者:Emily (@iamemily2050)。