MuseV 是腾讯音乐娱乐 Lyra Lab 开源的基于扩散模型的虚拟人视频生成框架，核心特点是借助一种新颖的“视觉条件并行去噪”（Visual Conditioned Parallel Denoising）方案，实现无限长度、高保真的虚拟人视频生成。
用途 MuseV 用于生成虚拟人视频，覆盖 Image2Video（图像到视频）、Text2Image2Video（文本到图像再到视频）、Video2Video（视频到视频）三类任务。它可与 MuseTalk（实时高质量唇形同步模型）配合形成完整的虚拟人生成方案；官方还发布了 MusePose（姿态控制下的图像到视频生成框架），期望社区共同推进端到端生成虚拟人、具备全身运动和交互能力的愿景。
主要能力
- 支持无限长度生成：采用视觉条件并行去噪方案。
- 提供在人类数据集上训练的虚拟人视频生成检查点。
- 任务类型：Image2Video、Text2Image2Video、Video2Video。
- 兼容 Stable Diffusion 生态：base_model、lora、controlnet 等。
- 支持多参考图技术：IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID。
- 官方称训练代码即将发布。
- 提供 Gradio 脚本，可在本地生成 GUI 界面以生成视频。
模型与版本 官方发布了 MuseV 项目及训练好的模型 musev、muse_referencenet（2024 年 3 月 27 日），随后加入 huggingface space gradio 以在 GUI 中生成视频（2024 年 3 月 30 日）。重要缺陷修复提示：musev_referencenet_pose 中 unet 的 model_name、Command 的 ip_adapter 不正确，应使用 musev_referencenet_pose 而非 musev_referencenet。
使用方式 环境准备：官方推荐优先使用 docker 准备 Python 环境，默认 conda 环境名为 musev；也可从 environment.yaml 创建 conda 环境，若不用 docker 则需额外安装 mmlab 包。需安装额外依赖如 diffusers、controlnet_aux、mmcm。项目还提到 Windows 一键整合包（第三方集成，官方未验证、维护或更新）。
自定义包：项目包含修改过的 diffusers、controlnet_aux，以及自研的 MMCM（多媒体、跨模态处理包）。
模型下载：motion 为在 tiny ucf101 与 tiny webvid 数据集（约 6 万视频文本对）上训练的 text2video 模型；musev/unet 仅训练 unet motion 模块，显存约 8G；musev_referencenet 训练 unet、referencenet、IPAdapter，显存约 12G；musev_referencenet_pose 在 musev_referencenet 基础上固定 referencenet 与 controlnet_pose，训练 unet motion 与 IPAdapter，显存约 12G；t2i/sd1.5 为 text2image 模型，不同 t2i base_model 影响显著，示例包括 majicmixRealv6Fp16、fantasticmix_v10；IP-Adapter/models 含 image_encoder、ip-adapter_sd15.bin、ip-adapter-faceid_sd15.bin 等。
配置与长视频生成：需在配置中设置模型路径和缩写，涉及 T2I_all_model.py、motion_model.py、example.yaml。常用参数包括 time_size、n_batch、context_frames 等。生成长视频有两种方式：视觉条件并行去噪（设置 n_batch=1，time_size 设为期望的总帧数）；传统端到端（time_size=context_frames=一个镜头的帧数 12，context_overlap=0）。模型参数支持 referencenet、IPAdapter、IPAdapterFaceID、Facein，并含 video_guidance_scale、use_condition_image、redraw_condition_image、video_negative_prompt 等影响运动幅度和生成结果的参数。
Video2Video 特别参数包括设置 video_path 为参考视频（支持 rgb 视频和 controlnet_middle_video），以及 which2video、controlnet_name、video_is_middle、video_has_condition 等。musev_referencenet_pose 仅用于 pose2video，基于 musev_referencenet 训练，仅有 motion 模块、无 referencenet，显存需求更少。
适用场景 适用于虚拟人视频生成、图像驱动人物动画、文本到虚拟人视频、视频风格或动作转换、姿态驱动视频生成等研究与创作场景，也可与 MuseTalk、MusePose 组合用于端到端数字人方案探索。
限制 官方明确列出多项限制：泛化能力不足，部分视觉条件图像表现好、部分差，部分 t2i 预训练模型表现好、部分差；视频生成类型和运动范围有限，部分受训练数据限制，已发布 MuseV 在约 6 万人类文本视频对、512*320 分辨率上训练，低分辨率时运动范围更大但画质更低，高画质时运动范围偏小；可能因 webvid 出现水印；长视频生成类型有限，视觉条件并行去噪可解决累积误差，但当前方法仅适合相对固定的镜头场景；referencenet 和 IP-Adapter 训练不足；代码结构不够规整、支持功能丰富动态但复杂未重构，需时间熟悉。
许可 代码以 MIT 许可开源，学术和商业使用均无限制；训练模型仅可用于非商业研究目的；使用的其他开源模型须遵循其各自许可，如 insightface、IP-Adapter、ft-mse-vae 等；测试数据来自互联网，仅可用于非商业研究目的。AIGC 方面，项目鼓励正向影响 AI 视频生成领域，用户可自由使用工具创作视频，但须遵守当地法律并负责任使用，开发者不对潜在滥用承担责任。
