用途:为捆绑的 Windows MCP Server 提供语义优先的 Windows 桌面自动化指导,适合自动化桌面应用、在 UI Automation 与截图之间做选择时使用。仅限 Windows。
主要能力与推荐流程:先用 window_management 查找或激活目标窗口;对普通控件用 ui_find、ui_read、ui_click、ui_type;用 ui_read_table 一次性把网格、表格或详细信息列表导出为结构化行与表头,避免反复逐格读取;保存或另存流程用 file_save,打开流程用 file_open,而非发送快捷键;需要快速批量文本输入输出时用 clipboard(get/set/clear)配合复制粘贴快捷键;用 ui_batch 在一次调用中执行多步序列,用 ui_macro 按名称保存并回放该序列。仅当 UI Automation 树缺失或目标为自定义画布时,才回退到 screenshot_control、mouse_control 或 keyboard_control。
模式与注意事项:优先使用元素名称、控件类型、自动化 ID 和窗口句柄,而非屏幕坐标;对话框、页面切换或标签切换后需重新检查 UI 树;把截图视为发现或回退工具。坐标型自动化在 DPI、布局和显示器变化下更脆弱,坐标应先从带标注的截图输出获取。多显示器场景应使用感知显示器的工具,负坐标在虚拟桌面中属正常。
浏览器与登录会话:将 Edge、Chrome 页面内容视作普通语义 UI,先用 window_management,再用 ui_find、ui_click、ui_type、ui_read 针对可见文本或 ARIA 标签操作。用 ui_read 且 format 为 "article" 可只返回正文,比原始文档更省 token,也可读取已登录内部页面。认证或 SSO 站点优先复用已登录窗口。不要因 Chromium 启动器立即退出就判定启动失败。浏览器边框部分仅尽力而为。
安全边界与反模式:UAC 提示与提权窗口属安全边界,非提权自动化无法交互;出现权限不匹配时,以与目标应用相同的权限级别重跑 MCP 服务器。不要在有可访问控件时先用截图点击;不要在可能弹出另存为对话框时用 Ctrl+S 保存;不要假设坐标在不同机器、主题或缩放比下稳定。