用途:在驱动视频中把原人物替换为参考图提供的角色,端到端完成,无需姿态图,支持多角色,适用于“换主体、保留动作”的任务,是 WAN Animate/动作迁移的后续方案。
主要能力与用法:官方 ComfyUI 模板为 video_wan21_scail2_character_replacement_int8,核心节点是 WanSCAILToVideo(配合 SCAIL2ColoredMask),由 SAM3 掩码决定角色出现位置。本技能不是从零搭建的图,而是记录官方模板中不易察觉的行为,需从官方模板出发再套用其指导。
关键规则:在 replacement_mode: true 下,参考图的取景同时决定输出角色的尺寸与外观;SAM3 掩码决定位置,参考图决定大小。实测 720x1280 驱动片段中主体约占画面高度 30%(包围盒 363 px)时,全出血人像参考(人物约占画面 93%)输出为 621 px,偏大 1.71 倍;重新取景(人物约占 34%)输出 364 px,比例 1.003 正确,上下对齐误差在 1 px 内。建议渲染前把参考图垫底或重新取景到工作分辨率,使人物占画面高度比例与驱动视频主体大致一致。
调参取舍:lightx2v 蒸馏 LoRA 强度 0.8、ModelSamplingSD3 shift 5 相比 1.0/shift 8 可改善颜色与细节,但会增强对驱动视频的贴合,导致原主体细节渗到替换角色上(如原高尔夫球手的荧光黄鞋出现在穿白鞋的替换角色上)。若出现不想要的源细节,应把 LoRA 强度/shift 调回 1.0/shift 8。
限制与注意:不要用后期合成“修正”颜色。原始输出存在可测色偏(背景每通道约 -5,来自 VAE 往返;角色红色衰减约为绿色的 2.4 倍,呈轻微绿偏),但用 SAM3 掩码把生成角色合成回原底片会带来明显光晕,且把原底片道具(如球杆)叠在生成的手上会破坏模型已一致解出的握持关系;SCAIL-2 是联合解算颜色、边缘、握持与遮挡,单独修正任一项会破坏其余项,应保留原始输出。
参考模型集:wan2.1_14B_SCAIL_2_int8_convrot、wan2.1_SCAIL_2_DPO_lora_bf16、lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16、Wan2_1_VAE_bf16、umt5_xxl_fp8_e4m3fn_scaled、clip_vision_h、sam3.1_multiplex_fp16。显存:24 GB 卡上 576x1024、81 帧分块时峰值约 22.2 GB。官方来源暂未提供,内容为实测经验。