用途:对神经重建(NRE、NuRec、3DGS、NeRF 等)渲染出的图像帧运行 NVIDIA DiffusionHarmonizer,进行增强、协调、评估或微调。它是单步、时序感知的图像扩散增强器,可提升真实感、减少重建伪影,并让插入的动态物体与场景在颜色、光照和阴影上更协调。
主要能力:支持离线(清理伪训练视图并蒸馏回 3D 表示)与在线(推理/仿真中逐帧增强)两种模式;提供推理、评估(PSNR/LPIPS)与训练/微调脚本。公开模型为 DiffusionHarmonizer-cosmos-0.6B,基于 Cosmos Predict2 Diffusion Transformer,输入输出分辨率 576x1024。
使用方式:需 Linux、Ampere 及以上 NVIDIA GPU、Docker 与 NVIDIA Container Toolkit、git、python3、Hugging Face CLI,以及已接受许可的 HF_TOKEN(可选 NGC_API_KEY)。先运行 scripts/validate_setup.py 校验环境,再克隆 https://github.com/NVIDIA/harmonizer 并构建镜像:docker build -t harmonizer-cosmos-env -f Dockerfile.cosmos .;随后 ./download_checkpoints.sh 下载检查点。推理入口为 src/inference_pix2pix_turbo_harmonizer.py,需在 /work/src 内运行;输出写入 <input_dir>_<model_identifier>。评估入口 src/evaluate_test_dataset.py,训练入口 src/train_pix2pix_turbo_harmonizer.py。
适用场景:已有磁盘上的渲染帧需要后处理;需要公开代码、模型卡、训练/评估脚本;需要微调。若只想在 NRE 渲染中内联增强,应使用 nre --enable-difix(属 nre 技能);训练或渲染 3D 重建本身用 nre,原始传感器转 NCore V4 用 ncore。
限制:仅面向神经重建渲染与物体插入伪影,不适合任意真实照片;主分辨率为 576x1024,仅支持 1024、960、1360 分辨率键;时序推理依赖文件名自然排序,建议零填充命名,无序图像需加 --nontemporal;容器与权重等可能超过 100 GB;训练默认多 GPU(README 假设 8 卡 bf16)。