用途:在 Mac 的 Apple iPhone Mirroring 窗口中控制 iPhone,属于纯实验性能力,不保证可靠性,不应作为生产工作流。iPhone 界面在 Mac 应用内是视觉表面,采用像素级操作而非语义化辅助功能元素。
前提:Yutori computer use 已就绪(uvx yutori-mcp computer-use doctor);iPhone Mirroring 已配对并授权;Mac 与 iPhone 满足 Apple Continuity 要求,iPhone 保持附近并锁定,直接解锁或使用 iPhone 会结束镜像;用户须知镜像窗口内容会发送给 Yutori,建议先关闭敏感小组件。若需设置或认证,应停下请用户完成,绝不索取 Mac/iPhone 密码、验证码、生物识别等。
用法:始终使用窗口范围的背景捕获,仅让智能体看到并驱动 iPhone Mirroring,禁止启用前台回退;无法后台执行则报告受阻动作。任务 JSON 指定 app 为 iPhone Mirroring、mode 为 background、allow_local_shell 为 false、minutes 为 10、max_steps 为 100。提示中约定点击视为轻点、滚动或拖动视为滑动,Command-3 打开 iPhone Spotlight、输入精确应用名并回车,Command-1 回主屏,Command-2 打开应用切换器;每次视觉变化后重新截图。若 MCP 工具不可用,可用 CLI:uvx yutori-mcp computer-use run "<phone-specific prompt and task>" --app "iPhone Mirroring" --mode background --no-local-shell --minutes 10 --max-steps 100。
导航与恢复:长页面用小步滚动并每次查看新帧,不用 Page Up/Down 或拖动替代滑动。出现 Resume 时点击一次并重新截图;要求认证则停下交给用户。空闲后可能暂停,Resume 属可恢复连接状态。不确定的动作不重复,同一界面状态三次失败后停止并报告。
安全与隐私:只打开任务所需应用与数据,小组件、通知徽章与应用切换器预览可能泄露隐私;未经明确要求不要打开信息、邮件、照片、健康、密码管理器、验证器、银行、支付或通知栏。未经授权不得批准购买、转账、账户变更、安装应用、权限、安全设置或破坏性操作。遇到登录、密码、通行密钥、生物识别或一次性验证码界面应停下请用户自行完成。不要用 shell 检查 iPhone 数据、备份、容器或凭据。
结束汇报最终状态、交付模式、前台升级、不确定动作、耗时及是否完成。基准测试可用计算器:Command-3 搜索 Calculator 并回车,清空后计算 6*7 并确认显示 42,然后停止;每次一组有限试验,严格后台模式,记录任务成功、模型轮次、动作结果、后台拒绝、耗时与最终可见状态。