AlayaRenderer 是一个两阶段生成式世界渲染框架的智能体技能,面向高质量视频渲染与游戏画面风格化编辑。
主要能力分两部分。逆渲染器基于微调的 Cosmos-Transfer1-DiffusionRenderer 7B 模型,将 RGB 视频分解为五条同步 G-buffer 通道:albedo、normal、depth、roughness、metallic。游戏编辑模块基于经 DiffSynth-Studio 微调的 Wan2.1 1.3B 模型,用 G-buffer 加文本提示合成写实或风格化的 RGB 视频。
使用方式:需分别搭建两个 conda 环境(逆渲染 inverse_renderer、游戏编辑 game_editing),因两模型依赖冲突。克隆仓库时须带子模块:
git clone --recurse-submodules https://github.com/ShandaAI/AlayaRenderer.git cd AlayaRenderer
权重放在 HuggingFace:逆渲染 Brian9999/world_inverse_renderer,游戏编辑 Brian9999/stylerenderer。下载示例:
huggingface-cli download Brian9999/world_inverse_renderer --local-dir inverse_renderer/checkpoints/Diffusion_Renderer_Inverse_Cosmos_7B
游戏编辑快速推理命令:
CUDA_VISIBLE_DEVICES=0 python examples/wanvideo/model_inference/inference_gbuffer_caption.py --checkpoint models/train/Wan2.1-T2V-1.3B_gbuffer/model.safetensors --gpu 0 --style snowy_winter --prompt "..." --gbuffer_dir test_dataset --save_dir outputs/ --num_frames 81 --height 480 --width 832
关键参数包括 --style(如 snowy_winter、rainy、night、sunset)、--num_frames(须为 8n+1,如 81、41)、--height/--width。G-buffer 目录按 albedo、normal、depth、roughness、metallic 子目录放置帧图。完整流程为先逆渲染导出 G-buffer,再在游戏编辑环境中套用风格。
适用场景:游戏画面重打光与风格迁移、天气与时段变换、视频到 G-buffer 的分解研究。限制:显存不足时可减少帧数或分辨率;两模型必须分环境安装,否则依赖冲突;数据集规模与发布状态资料中标注为待发布。在线演示有 game-editing 空间与项目页,具体效果未在资料中详述。