SuperAPI AI 工具集

WorldWander

WorldWander 是论文《WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation》的官方 PyTorch 代码库,被 ECCV 2026 收录。该项目提出一种上下文学习框架,用于在视频生成中实现第一人称(自我中心)与第三人称(外中心)视角之间的转换,并发布了包含同步自我中心—外中心三元组的高质量数据集 EgoExo-8K。代码基于 Wan2.2-TI2V-5B 模型训练,提供不同任务的 LoRA 检查点,支持推理与自定义数据集训练。

访问官网

工具介绍

WorldWander 是论文《WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation》的官方 PyTorch 代码库,该论文被 ECCV 2026 收录。项目聚焦于视频生成中不同视角之间的转换问题,特别是第一人称(自我中心,egocentric)与第三人称(外中心,exocentric)视角之间的无缝视频翻译。

用途方面,WorldWander 旨在弥合自我中心与外中心世界之间的视角差异。这一能力对电影制作、具身 AI 以及世界模型等方向具有潜在价值。

主要能力方面,WorldWander 是一个上下文学习框架,构建于先进的视频扩散 Transformer 之上,集成了两项关键设计:(i)上下文视角对齐(In-Context Perspective Alignment)和(ii)协作位置编码(Collaborative Position Encoding),用于高效建模跨视角同步。此外,项目还发布了 EgoExo-8K 数据集,该数据集包含来自合成场景和真实场景的同步自我中心—外中心三元组。

使用方式方面,项目提供了推理与训练两条路径。推理部分:WorldWander 基于 Wan2.2-TI2V-5B 模型训练,使用 4 张 H200 GPU,每张 GPU 批大小为 4;项目在 Hugging Face 上提供了针对不同任务的 LoRA 检查点,用户可下载对应检查点并指定相应配置文件进行推理,官方提供了示例脚本,需将参数 ckpt_path 更新为所下载检查点的路径,建议在 80GB 显存的 GPU 上运行以避免内存不足。训练部分:用户可在自定义数据集上训练,需要先调整对应配置文件中的 first_video_root、third_video_root、ref_image_root 等参数,必要时根据自身数据集属性修改 dataset/custom_dataset.py 中的 CustomTrainDataset 类,官方也提供了训练脚本。

适用场景方面,根据项目描述,该框架适用于电影制作、具身 AI 和世界模型等需要跨视角视频生成与转换的场景。

限制方面,资料中未提供具体的性能指标、支持的最大分辨率或时长、许可证信息以及除 80GB 显存建议外的其他硬件要求。项目代码部分借鉴了 DiffSynth-Studio 和 Wan2.2。