SuperAPI AI 工具集

windows-ui-inject

通用与其它

查看项目

更新于 10-16 07:15

技能介绍

用途:当 computer-use 能看窗口却无法点击或打字(read 层级),或需驱动 mstsc/远程桌面、其他非提权桌面应用时,用 PowerShell 调 user32/System.Windows.Forms 注入鼠标键盘输入。该技能仅为客户端 UI 自动化。

主要能力与用法:可用 GetWindowRect 后按窗口相对比例定位目标;用 SetCursorPos+mouse_event 点击;用 SendKeys 输入文本与按键(^a 为 Ctrl+A,+{TAB} 为 Shift+Tab,特殊字符需用 {} 包裹);EnumWindows+GetWindowText 按标题找窗口,建议按 mstsc 的 PID 限定范围。核心流程为:截图、必要时 ESC 关闭菜单、点击或按键激活控件、必要时输入、再次截图验证。不要假设跨会话固定像素,需每轮重新测量。脚本 scripts/Invoke-MstscConnect.ps1 支持传入 host/port/user/password,用 cmdkey 预置凭据,点击 Connect 而非 Learn more。

RDP 注意:安全警告对话框中 Connect 约在 L+0.72W、T+0.92H,Cancel 常为默认焦点;有凭据区块时复选框位置会变化。Windows Security 凭据窗口常属不同进程,SendKeys 可能无效,建议 cmdkey 配合 .rdp 中 authentication level:i:0、prompt for credentials:i:0。不要写死主机、端口、密码,用 <host>、<port>、<user> 占位。连接成功以 MainWindowTitle 变化为信号;纯黑客户区可能是服务端图形问题,应先查服务端日志。

限制:仅 Windows;UAC/提权窗口受 UIPI 阻止;SendKeys 只作用于前台窗口,需先 SetForegroundWindow;不绕过网络、TLS 或认证策略。Add-Type 在 PowerShell 7 下可能需要不同程序集引用,建议用 Windows PowerShell 5.1。定时建议:焦点或点击后 150–400ms 再输入,连接后等 1–2 秒;点击失败应先重截图重算而非反复点击。