用途:用 Midscene CLI 对 iOS 设备做视觉驱动的自动化操作,全程基于截图,不依赖 DOM 或无障碍标签,由 AI 智能体充当大脑,根据截图决定下一步动作。
主要能力:act 可在单次调用内完成点击、双击、长按、输入、清空文本、滚动、拖拽、双指缩放、按键以及 Home、应用切换等系统导航;assert 用自然语言校验当前屏幕状态,支持 --message 自定义错误、--image/--image-name 参考图比对;record start 录制 toast、加载条、动画等瞬时 UI 后再用 assert --record 断言;tap --locate 支持传入参考图做精确视觉定位;runwdarequest 可向 WebDriverAgent 发送底层 HTTP 请求;report-tool 可将 HTML 报告转为 Markdown 或拆分 JSON。
使用方式:先配置模型环境变量 MIDSCENE_MODEL_API_KEY、MIDSCENE_MODEL_NAME、MIDSCENE_MODEL_BASE_URL、MIDSCENE_MODEL_FAMILY(可写入 .env)。常用命令:npx -y @midscene/ios@1 connect;npx -y @midscene/ios@1 take_screenshot;npx -y @midscene/ios@1 act --prompt "...";npx -y @midscene/ios@1 assert --prompt "...";npx -y @midscene/ios@1 disconnect。若 WDA 会话由外部创建,可传 --wda-host、--wda-port、--session-id。可用 --deep-locate、--deep-think 提升定位与规划精度。
限制与注意:命令必须同步前台运行,禁止后台执行,且一次只运行一条,需等待并读取截图后再决定下一步;单条命令通常约 1 分钟,复杂 act 更久。需设备通过 USB 连接并信任,且 WebDriverAgent 已安装运行。任务结束必须主动汇报结果。模型未配置时需请用户设置。