SuperAPI AI 工具集

qwen-mm-plugins-video-spatio

设计与创作

查看项目

更新于 10-16 09:53

技能介绍

用途:当问题涉及空间推理时使用本技能,包括距离、尺寸、朝向、左/右/前/后判断、相机运动与物体运动对比、跨帧计数,以及依赖视角的可见性。外观类问题可直接从图像回答。工具参数见 qwen-mm-plugins-video-spatio 的 schema。

主要能力:先用图像或采样视频帧构建场景。若已安装 core,可用 read_video 和 save_view;否则使用可用的图像/视频工具并提供本地帧路径。为每帧标注物体列表(label、bbox、depth_m),调用 build_scene(frames=..., objects_by_frame=...),所有帧尺寸须一致。移动相机需为每对相邻帧提供一个 camera_motions 项,平移在前一相机坐标系中,forward_m 前为正、right_m 右为正,yaw_deg 右转为正;省略则假定相机静止。

坐标约定:框为 [x1,y1,x2,y2],默认 0–1000 归一化,可显式设 bbox_format="pixels" 或 "normalized",同一场景不得混用单位。depth_m 为相机到物体的正距离估计(米),保留不确定性,视觉深度并非标定测量。世界坐标 +Y 上、+X 右、-Z 前,BEV 用 (x,z),场景假定 60° 水平视场与平面相机运动。

分析工具:visualize_bev 显示相对布局;view_reason 与虚拟视点;triangulate 需同一静止物体与真实相机基线,并检查 reliable;calibrate_scale 用已知尺寸求比例;object_world_motion 判断物体运动;camera_motion 汇总已有位姿;orient_facing、verify_grounding 走 VLM 调用;count_objects、match_entities 负责计数与跨视图同一性;select_keyframes 支持均匀、运动、覆盖、共视策略;scene_map 提供认知地图与帧差;motion 做帧差或轨迹外推;render_scene_views 渲染粗略布局。

探索建议:assess_coverage → plan_exploration、assess_reachable、mobile_manip 仅返回导航或搜索建议,不驱动机器。基于距离的可达性不证明无障路线或可抓取。

限制:几何工具不独立测量场景,依赖宿主提供的框、深度与相机估计;VLM 工具使用配置的 OpenAI 兼容端点且可能多次调用,无需 GPU 感知服务器。同一估计生成的几何与可视化不算独立证据;证据冲突时应复核定位、单位、物体同一性与相机运动;无法支撑时不要强求精确数值。