SuperAPI AI 工具集

click-target

测试与质量

查看项目

更新于 10-15 21:40

技能介绍

用途:在 XR 场景中定位指定目标对象,用控制器点击它,并验证点击是否被正确响应。适用于测试 UI 交互、点击按钮、验证可交互元素。

主要能力:通过场景层级查找目标 UUID;获取目标变换;将头显朝向目标;截图确认目标可见且未被遮挡;调整控制器位置与朝向;执行点击;通过控制台日志验证点击结果。

使用方式:参数 $ARGUMENTS 为目标描述,例如“RESTART 按钮”“记分板”“设置面板”。流程为:用 mcp__iwsdk-dev-mcp__scene_get_runtime_hierarchy 查找目标 UUID(关注带 entityIndex 的 ECS 实体,PanelUI 元素通常有嵌套子元素);用 mcp__iwsdk-dev-mcp__scene_get_object_transform 获取变换,定位使用 positionRelativeToXROrigin;用 mcp__iwsdk-dev-mcp__xr_look_at 让头显朝向目标;用 mcp__iwsdk-dev-mcp__browser_screenshot 确认目标可见且未被遮挡,不可见时用 moveToDistance 靠近;用 mcp__iwsdk-dev-mcp__xr_get_transform 检查控制器位置,必要时用 mcp__iwsdk-dev-mcp__xr_set_transform 将其设到头显位置并微调(x 偏移 +0.25 或 -0.25,y 偏移 -0.1,z 偏移 -0.3);用 xr_look_at 让控制器指向目标;用 mcp__iwsdk-dev-mcp__xr_select 点击;用 mcp__iwsdk-dev-mcp__browser_get_console_logs 按模式检查预期日志。

适用场景:XR 应用中的按钮、面板、记分板等交互元素测试。

限制与提示:PanelUI 按钮位置常偏离面板中心,需对子元素调用 scene_get_object_transform 获取精确位置;应以控制台日志而非视觉判断点击是否成功;截图中的射线视觉可能具有误导性,需实际点击测试;左右控制器均可使用;若日志无匹配,可调整目标位置(x 或 z 改 0.05-0.1)后重试。示例:点击 pong 记分板上的 RESTART 按钮,记分板位于 (0, -0.798, -1.25),按钮约在 (0.05, -0.798, -1.109),点击后验证控制台出现“[BUTTON CLICKED]”。