SuperAPI AI 工具集

agent-browser-ios

测试与质量

查看项目

更新于 10-16 07:46

技能介绍

Agent Browser — iOS Simulator 是 agent-browser 技能体系中的一个内部模板,入口为 agent-browser 技能,由 agent-browser 编排器调用。它用于在 iOS 模拟器环境中执行浏览器与应用操作,推荐配置为 agent-browser -p ios(即 --provider ios 的简写)。

用途 该模板面向 iOS 模拟器上的自动化操作,允许通过 agent-browser 命令行在模拟器中打开应用、探索交互元素、执行 iOS 原生手势,并完成截图、查找、等待等操作。

主要能力

  • 设备管理:通过 agent-browser -p ios device list 列出可用模拟器。
  • 打开应用:使用 agent-browser -p ios --device "iPhone 15 Pro" open https://app.example.com 在指定设备中打开应用。
  • 元素探索:使用 snapshot -i 获取可交互元素快照。
  • iOS 原生手势:支持 tap @e1、swipe up、swipe down、swipe left、swipe right 等手势,其中 swipe up/down 用于滚动,swipe right 用于边缘返回,swipe down 用于关闭底部弹层。
  • 标准命令:screenshot --full、find role button click --name "Submit"、get text @e3、wait --load networkidle 等命令同样可用。
  • WebView 内容检查:对 WKWebView 中的网页内容可使用 snapshot -i 进行 DOM 检查。

使用方式

  1. 前置条件:需要 macOS(Apple Silicon 或 Intel)、Xcode 及 iOS 模拟器(从 Mac App Store 安装)、Appium(npm install -g appium && appium driver install xcuitest),并且模拟器必须在启动 agent-browser 之前已在 Xcode 中运行。
  2. 验证前置条件:xcodebuild -version、appium --version、appium driver list --installed。
  3. 环境检查:printenv | grep AGENT_BROWSER,若已设置则省略对应的内联参数。
  4. 工作流程:先在 Xcode 中启动模拟器(或使用 xcrun simctl boot "iPhone 15 Pro" 并 open -a Simulator),然后列出模拟器、打开应用、探索交互元素、执行手势,最后使用标准命令完成截图等操作。

适用场景 适用于需要在 iOS 模拟器上进行自动化操作、界面探索、手势交互与截图取证的场景,尤其适合与 agent-browser 编排器配合使用。

限制与注意事项

  • 绝不能在模拟器启动前运行命令,否则守护进程无法连接;必须先用 xcrun simctl 启动。
  • 绝不能在 iOS 上使用 scroll,应改用 swipe up / swipe down。
  • 绝不能对原生触摸目标使用 click,应优先使用 tap @ref。
  • 绝不能在导航之间复制元素引用,每次屏幕变化后需重新运行 snapshot -i。
  • 绝不能假设 WebView 内容可检查,必须在 Safari → Develop → [设备] 中启用 Web Inspector。
  • 常见问题包括:模拟器未启动、Appium 未安装、误用 scroll、对触摸元素误用 click、device list 无设备、缺少 XCUITest 驱动、WebView 内容不可检查等,均需按对应方式修复。