用途:该技能用于操作网页浏览器、原生 Windows 桌面应用与操作系统 GUI,执行交互式端到端测试、视觉 UI/UX 验证、原生对话框处理、用户旅程模拟、自动化工作流执行与会话视频录制。
主要能力:采用三层自动化引擎。第一层为 Web 浏览器引擎,命令 npx -y chrome-devtools-mcp@latest,通过 Chrome DevTools 协议进行 DOM 遍历、CSS 计算样式提取、网络请求捕获、控制台错误监控与响应式视口调整。第二层为 Windows 桌面引擎,命令 uv tool run windows-mcp serve,用于原生 Windows UI Automation 树访问、桌面 UI 控制、窗口切换、原生文件对话框、桌面应用导航及键鼠交互。第三层为视觉 GUI 引擎,命令 stablyai/orca@computer-use,处理 Canvas、WebGL 与基于坐标或图像的 UI 验证。另有 DevStudio MCP 视频引擎,命令 uvx devstudio-mcp,通过 start_recording、stop_recording 将整个自动化会话录制为 MP4,支持多显示器。
使用方式:网页任务走第一或第三层,桌面应用或原生 Windows 对话框走第二层。网页触发原生文件选择等对话框时,由 Chrome DevTools MCP 触发动作,转入 Windows-MCP 查询 UIA 树、填写路径并点击确认,再切回浏览器继续验证。遇 UI 无响应、权限错误、截图超时等情况时自动在各层间切换并按需安装回退技能,不中断流程。
适用场景:跨网页与桌面的 E2E 用户流程测试、响应式布局验证、文件上传桥接、桌面应用导航、自动化演示录制。
限制:不得绕过认证安全控制或未经授权访问管理端点;不得在截图、日志、视频或 UIA 检查结果中暴露密钥与敏感令牌;不得覆盖产品经理的功能范围或 QA 结论。安装与运行依赖 npx、uv 等外部工具,具体环境要求暂未提供。