SuperAPI AI 工具集

winapp-ui-automation

通用与其它

查看项目

更新于 10-16 00:32

技能介绍

用途:从命令行检查、驱动并验证运行中的 Windows 应用 UI,适合 AI 智能体点击按钮、读取文本、截图,也用于开发或测试中验证 UI 状态,或在不使用 Playwright、Selenium 的情况下自动化 UI 工作流,并可调试 WinUI 3、WPF、WinForms、Win32 或 Electron 应用界面。

主要能力:支持 inspect 查看元素树、search 查找元素、get-* 读取文本与值、wait-for 等待状态、set-value 写入值、invoke/click/hover/drag/touch/pen/scroll 驱动交互、send-keys 发送键盘输入、screenshot 截图、record 录制 H.264 MP4,以及 status、list-windows 等。可用 -a 按应用名/标题/PID 定位,或用 -w <HWND> 指定窗口;支持 --root、--type、--class-name 过滤,--interactive 仅显示可操作元素。

使用方式:UIA 模式的命令无需额外设置,适用于任意运行中的 Windows 应用,且对锁定会话友好,适合 CI。输入注入类命令(click、hover、drag、touch、pen、scroll --wheel、send-keys --via send-input)需要未锁定且可交互的桌面,目标窗口可置于前台;在锁定/安全桌面上会以 no_interactive_desktop 快速失败。并发工作流通过 WINAPP_UI_WORKFLOW_ID 分组协作,读完可执行 winapp ui yield 主动让出桌面;建议对已知序列使用 ; 串联为一段紧凑脚本,减少往返。截图使用 -w <hwnd> 时 --capture-screen 需要恰好一个窗口。

限制:输入注入类命令在锁定/安全桌面不可用;screenshot 总是独占执行并可能需要在交互桌面;--capture-screen 需要唯一窗口,若 -a 匹配多个窗口会以 invalid_arguments 失败,需先用 list-windows 获取 HWND;提供不匹配的选择器会以 element_not_found 失败;已有录制输出默认被拒绝,需用新路径或 --overwrite;工作流没有硬性上限,长时间脚本可能阻塞其他变更型工作流。若无法自行运行 winapp,应给用户确切的 winapp 命令而非仅描述步骤。具体收费、价格、平台等信息暂未提供。