SuperAPI AI 工具集

lingbot-map-3d-reconstruction

通用与其它

查看项目

更新于 10-15 21:04

技能介绍

LingBot-Map 是用于流式三维重建的前馈式三维基础模型,使用 Geometric Context Transformer。它无需迭代优化,可直接从图像序列或视频推理,输出带逐点置信度的点云、相机位姿和深度图。据资料称,在 518×378 分辨率下借助分页 KV 缓存注意力,超过 10000 帧的序列可达到约 20 FPS。

用法上需先建环境并安装依赖:conda create -n lingbot-map python=3.10 -y、conda activate lingbot-map,然后 pip install torch==2.9.1 torchvision==0.24.1 --index-url https://download.pytorch.org/whl/cu128;再 git clone https://github.com/Robbyant/lingbot-map.git、cd lingbot-map、pip install -e .。可选用 pip install flashinfer-python -i https://flashinfer.ai/whl/cu128/torch2.9/ 加速,或用 pip install -e ".[vis]" 支持可视化,用 pip install onnxruntime 或 onnxruntime-gpu 支持天空掩码。模型可从 HuggingFace(robbyant/lingbot-map)或 ModelScope 下载。

主要入口为 demo.py,支持 --image_folder 或 --video_path(配合 --fps)输入,浏览器查看器默认端口 8080。长序列可用 --keyframe_interval、--mode windowed 与 --window_size 控制显存;不支持 FlashInfer 时可加 --use_sdpa。室外场景可加 --mask_sky 去除天空噪声点,并可指定 --sky_mask_dir 或 --sky_mask_visualization_dir。输出质量可通过 --conf_threshold、--downsample_factor、--point_size 调节。

适用场景包括室内外场景重建、长视频与超长序列处理、交互式查看。限制方面:实际速度需 CUDA GPU,检查点为约 4.63 GB;CPU 或不支持 FlashInfer 时可用 SDPA 回退;序列过长需调整缓存或窗口模式,否则可能显存不足。资料未提供收费、价格与平台支持等信息。