用途:HY-World 2.0 是腾讯混元推出的多模态世界模型,可从文本、单视图图像、多视图图像和视频重建、生成并模拟 3D 世界,产出网格、3D 高斯泼溅(3DGS)与点云等 3D 表示。
主要能力:一是世界重建,由 WorldMirror 2.0(约 1.2B 前馈模型)驱动,单次前向预测深度、表面法线、相机参数、3D 点云与 3DGS 属性;二是世界生成,四阶段流程为全景生成(HY-Pano 2.0)→ 轨迹规划(WorldNav)→ 世界扩展(WorldStereo 2.0)→ 世界合成(WorldMirror 2.0 + 3DGS)。
使用方式:需 Python 3.10、CUDA 12.4(推荐)与 PyTorch 2.4.0。安装:git clone https://github.com/Tencent-Hunyuan/HY-World-2.0,conda create -n hyworld2 python=3.10,pip install torch==2.4.0 torchvision==0.19.0 --index-url https://download.pytorch.org/whl/cu124,pip install -r requirements.txt,再安装 FlashAttention-3 或 FlashAttention-2。权重首次运行自动从 Hugging Face 下载(tencent/HY-World-2.0),也可先执行 snapshot_download('tencent/HY-World-2.0')。重建代码用 from hyworld2.worldrecon.pipeline import WorldMirrorPipeline,pipeline = WorldMirrorPipeline.from_pretrained('tencent/HY-World-2.0'),result = pipeline('path/to/images');可传入 prior_cam_path 与 prior_depth_path 注入相机或深度先验,通过 resolution 参数在 50K–500K 像素间调整分辨率,结果对象含 point_cloud、depth_maps、normals、cameras、gaussians,可 result.save('output_dir/') 并导出 .ply / .obj / .glb。Gradio 界面可运行 python -m hyworld2.worldrecon.app,默认地址 http://localhost:7860。
适用场景:多视图或视频到 3D 重建、由单图或文本生成 3D 世界、批量处理多个场景、导出到 Blender / Unity / Unreal 等工具。
限制:世界生成管线(WorldNav、WorldStereo-2、HY-Pano-2)尚未开源,仅 WorldMirror 2.0 重建可用;全景生成与世界扩展需分别以 HunyuanWorld 1.0 和 WorldStereo 作为过渡方案。需要 CUDA GPU,官方不支持 CPU 推理;建议至少约 8GB 显存,全分辨率推理需 16GB 以上。显存不足可降低分辨率、使用 fp16 或减少帧数。费用、价格与具体效果数据暂未提供。