用途:通过自然语言指令驱动浏览器完成浏览、数据抓取、UI 测试等任务。核心特点是视觉驱动,基于截图操作,不依赖 DOM 或无障碍标签。
主要能力:act 可在一次调用内完成点击、右键、双击、悬停、输入或清空文本、按键、滚动、拖拽、长按及多步页面流程,启用触摸输入时还支持滑动与捏合。assert 用自然语言校验当前页面状态,支持 --message 自定义错误信息,以及 --image/--image-name 传入参考图比对(需 @midscene/web@1.9.0+)。record start 可录制并断言转瞬即逝的 UI(如 toast、加载条),输出 JSON 清单与相邻帧图片目录。
使用方式:命令为 npx -y @midscene/web@1,默认启动跨 CLI 调用保持的无头 Chrome。三种模式:Puppeteer(默认,隔离环境)、CDP(连接用户 Chrome,需开启远程调试,端口 9222,可用 curl 预检返回 101 表示可用)、Bridge(通过 Midscene Chrome 扩展连接,CLI 监听 127.0.0.1:3766)。CDP 与 Bridge 均保留登录态,未指定时优先 CDP。需配置 MIDSCENE_MODEL_API_KEY、MIDSCENE_MODEL_NAME、MIDSCENE_MODEL_BASE_URL、MIDSCENE_MODEL_FAMILY 等环境变量或 .env。
限制:命令必须同步、单条执行,不可后台运行或串联,每条约需 1 分钟,复杂 act 更久;任务结束前须主动汇报结果。CDP 模式 disconnect 不关闭浏览器,connect --url 导航当前活动标签;Bridge 模式活动标签须为普通 http(s) 页面,无法操作 chrome:// 等特权 URL,文件上传需开启扩展的“允许访问文件网址”权限。上传文件须用 --file-chooser-allowed-dir 指定最小目录。模型需具备强视觉定位能力,未配置时需用户自行设置。