用途与定位
LPM 1.0(Large Performance Model)是一个面向视频角色表演的大型模型,由 Anuttacon 的 20 多位研究人员构建。其核心目标是为对话式智能体、虚拟直播角色和游戏 NPC 提供视觉引擎,让单一图像转化为能够实时说话、聆听、唱歌和做出反应的虚拟角色。官网指出,当前虚拟形象系统通常存在动画循环、表情冻结、无法真正聆听或反应等问题,而 LPM 1.0 旨在改变这一状况。
主要能力
全双工对话视频生成
LPM 1.0 是首个实现全双工对话视频生成的模型。角色在说话时具有精确的口型同步和身体节奏,同时在用户说话时能生成反应性聆听行为,包括点头、目光转移和微表情。
实时流式生成
LPM 1.0 通过 DMD(Distribution Matching Distillation)蒸馏实现 0.35 秒端到端延迟。在线 LPM 因果流式生成器将扩散过程压缩为仅 2 个生成步骤,在保持完整 17B 模型质量的同时实现实时输出。
身份一致性
LPM 1.0 使用多粒度身份条件控制,包括全局外观参考、多视角身体图像和面部表情样例。官网称其可维持 10 分钟以上连续生成的身份一致性,并消除牙齿、表情皱纹和侧脸几何等幻觉细节。
多模态控制
LPM 1.0 在单次生成过程中统一文本、音频和图像三种自然控制信号:文本提示指导动作和行为,音频驱动口型同步和情感,参考图像定义角色身份。
零样本角色泛化
LPM 1.0 接受任意角色风格作为输入,包括写实人类、2D 动漫、3D 游戏角色和非人形生物,无需微调或领域特定训练即可生成富有表现力的视频表演。
输出规格
LPM 1.0 在线流式生成器实时生成 480P/720P 分辨率、24fps 的视频。
技术管线
多模态数据集构建
LPM 1.0 基于多模态以人为中心的数据集,通过严格过滤、说-听音视频配对、表演理解和身份感知多参考提取构建。
基础 LPM 训练
基础 LPM 是一个 17B 参数的 Diffusion Transformer,通过多模态条件控制训练,同时处理角色图像(含身份感知参考)、音频信号和文本提示。
DMD 蒸馏与在线推理
基础 LPM 通过 DMD 蒸馏为在线 LPM 因果流式生成器。推理时,LPM 1.0 在三种对话状态下生成角色视频:聆听(根据用户音频产生反应性点头和目光转移)、说话(根据合成音频产生口型同步表演)和沉默(根据文本条件产生自然闲置行为)。
使用方式
用户可直接在线使用 LPM 1.0,无需 GPU、Python 或动画管线设置,在浏览器中预览角色表演视频。官网提供精选演示,用户可在生成自己的视频前对比定价。付费方案起步价为每月 9.9 美元。
适用场景
- 对话式 AI 智能体:将基于文本的聊天机器人转化为具有类人角色表演的视觉对话智能体。官网称 LPM 1.0 可与 ChatGPT、Doubao 等 A2A 模型即插即用兼容。
- 游戏 NPC:游戏开发者可创建具有实时、身份一致表演的 NPC,取代预设动画。
- 虚拟直播角色:支持具有全双工对话、唱歌和情感表达的实时直播角色。
- 无障碍与教育:生成富有表现力的虚拟导师和伴侣角色,可自然回应用户交互。
局限与对比
根据官网信息,LPM 1.0 与同类系统的对比包括:
- 对比 LiveAvatar:LPM 1.0 延迟 0.35 秒,LiveAvatar 超过 1 秒;LPM 1.0 支持全双工对话而 LiveAvatar 不支持;LPM 1.0 支持无限长度生成,LiveAvatar 限制在约 2 分钟。
- 对比 OmniHuman:OmniHuman 离线运行且输出长度固定,LPM 1.0 实时生成并支持无限长度和全双工对话。
- 对比 Kling-Avatar-2:Kling-Avatar-2 延迟约 0.8 秒,无全双工支持,最长 5 分钟;LPM 1.0 延迟 0.35 秒并支持无限长度生成。
官网提及的 LPM-Bench 基准测试显示 LPM 1.0 在各评估维度上达到当前最佳性能。具体的完整价格方案、免费额度、支持的输入格式细节等信息暂未提供。