SuperAPI AI 工具集

computer-automation

通用与其它

查看项目

更新于 10-16 07:22

技能介绍

用途:用自然语言驱动桌面 UI 自动化。通过 npx -y @midscene/computer@1 系列命令控制本地桌面(macOS、Windows、Linux),或经 RDP 控制远程 Windows 桌面。AI 智能体充当大脑,依据截图决定下一步动作。

主要能力:act 可在一次调用内移动鼠标、单击、双击、右键、拖拽、输入或清空文本、滚动、按键与快捷键,并完成多步交互;assert 校验当前屏幕是否满足自然语言条件,支持 --message 自定义错误、--image/--image-name 参考图比对(需 1.9.0+);tap --locate 用 JSON 传入参考图做精确定位;take_screenshot 截图;list_displays 列出本地物理显示器;listdisplays 列出显示器并支持 RDP 参数;report-tool 将 HTML 报告转为 Markdown 或拆分数据。

使用方式:需配置视觉定位能力强的模型,通过环境变量或 .env 设置 MIDSCENE_MODEL_API_KEY、MIDSCENE_MODEL_NAME、MIDSCENE_MODEL_BASE_URL、MIDSCENE_MODEL_FAMILY。常用流程为 connect 建立会话、健康检查、启动目标应用并截图、act 执行、assert 验证、disconnect 断开、汇报结果。RDP 模式在 connect 时加 --host 即启用,后续每条命令都需重复传 --host/--username/--password 等参数,因为 CLI 每次调用都是无状态并重新连接。

适用场景:桌面应用操作、界面 QA 校验、跨显示器或远程 Windows 桌面任务、需要截图与回放报告的人工排查。

限制与注意:命令必须同步执行,禁止后台运行,一次只跑一条并等待完成;典型命令约需 1 分钟,act 可能更久;RDP 每次调用约 5 秒起步,act/assert 端到端约 8–20 秒;RDP 模式下 --displayId 与 --headless 被忽略;凭据应作为密钥处理,避免写入共享记录;未配置模型时需先让用户完成配置。其余细节资料未提供。