用途:将实验室照片或短视频重建为3D高斯泼溅(3DGS)场景,再生成结构化自然语言描述,用于协议空间指引、实验室布局记录、VLM/空间模型训练数据、AR叠加锚定、多时段一致性比较、错误检测上下文、机器人路径规划及虚拟实验室导览。
主要能力:支持5–50张多角度照片或10–60秒短视频(JPEG、PNG、MP4、MOV);流程为COLMAP等SfM估计相机位姿,再训练3DGS(如gsplat、nerfstudio),输出.ply/.splat等模型、相机位姿与稀疏点云。对输入图像做2D目标检测(YOLO、DETR、Grounding DINO等),回投影到3D得到近似包围盒,识别移液器、管架、离心机、显微镜等实验室对象,提取左右、前后、上下、包含等关系,并推断96孔板或管架网格编号。输出支持纯文本、结构化JSON、RDF三元组、VLM提示前缀和Markdown,粒度分简要、标准、详细,可定义坐标系与单位,视频输入可选跟踪物体位移。
使用方式:提供图像或视频、输出格式与粒度等参数,经重建、检测、关系抽取后生成描述。示例输入包含images、output_format、granularity等字段,输出JSON含layout_summary、coordinate_frame、objects、relations、spatial_keywords。
适用场景:协议视频匹配、实时协议引导提示、常见湿实验错误检测、实验数据提取的ROI建议、AR叠加锚定、VLM空间问答等。
限制:需要重叠视角与足够视差,纯反光或透明器皿(常见玻璃器皿)可能需特殊处理;细管与标签可能噪声较大;建议使用NVIDIA CUDA GPU,20–30张图像在消费级GPU上约2–10分钟;未提供具体收费、价格或平台信息。