用途:用自然语言驱动桌面 UI 自动化。通过 npx -y @midscene/computer@1 系列 CLI 命令控制本地桌面(macOS、Windows、Linux),或经 RDP 控制远程 Windows 桌面。每条命令对应一个 MCP 工具,由 AI 智能体根据截图决定下一步动作。
主要能力:act 可在一次调用内完成移动鼠标、单击、双击、右键、拖拽、输入或清空文本、滚动、按键与快捷键等多步交互;assert 校验当前屏幕是否满足自然语言条件,支持 --message 自定义错误、--image/--image-name 参考图比对(需 1.9.0+);record start 录制瞬时 UI(如 toast、加载条)后配合 assert --record 断言;tap --locate 用 JSON 指定参考图精确定位;report-tool 可将 HTML 报告转为 Markdown 或拆分 JSON。
使用方式:需先配置模型环境变量 MIDSCENE_MODEL_API_KEY、MIDSCENE_MODEL_NAME、MIDSCENE_MODEL_BASE_URL、MIDSCENE_MODEL_FAMILY(可写入 .env)。常用命令:connect、list_displays、take_screenshot、act --prompt、assert --prompt、disconnect。RDP 模式在 connect 时加 --host(可选 --port、--username、--password、--domain、--security-protocol、--ignore-certificate、--admin-session、--desktop-width/height),后续每条命令都需重复相同 RDP 参数;RDP 下 --displayId 与 --headless 被忽略,用 listdisplays(无下划线)查看协商分辨率。
限制与注意:命令必须同步、单条执行,不可后台运行或串联;每条约需 1 分钟,act 可能更久。仅最小化窗口,除非明确要求否则不关闭。任务结束前必须汇报结果。RDP 凭据应作为密钥处理,避免写入仓库。若报 RDP helper binary not found,需重装包。模型未配置时应请用户先设置。支持模型包括 Doubao Seed 2.0 Lite、Qwen 3.5、Zhipu GLM-4.6V、Gemini-3-Pro、Gemini-3-Flash 等。