用途:该技能帮助理解 Omi 桌面 macOS 应用的导航结构、界面架构与 SwiftUI 模式,适用于开发功能、定位缺陷所在界面,或在真实应用中验证改动。
主要能力:通过 agent-swift 命令行工具与运行中的应用交互,可点击元素、读取无障碍树、截图,基于 macOS Accessibility API,无需应用侧埋点。支持 snapshot、click、press、find、fill、scroll、wait、is exists、get、screenshot 等命令,并可用 --json 获取结构化输出。
使用方式:应用需通过 desktop/ 下的 ./run.sh 运行。常用命令包括 agent-swift doctor 检查权限、agent-swift connect --bundle-id com.omi.desktop-dev 连接开发版、agent-swift snapshot -i --json 查看界面元素。主侧边栏用 click(SwiftUI),设置侧边栏用 press(AppKit);任何变更后引用会失效,需重新 snapshot。
适用场景:主窗口侧边栏含 Home、Conversation、Memories、Action Items、Integrations、Settings;设置页含 General、Rewind、Transcription、Notifications、Privacy、Account、AI Chat、Advanced、About。desktop/e2e/flows/*.yaml 描述关键用户旅程,可据此了解导航路径与预期元素。
限制:不得终止或重启生产版 Omi;不得用开发环境变量绕过认证;不得设置 hasCompletedOnboarding 跳过引导;不得为让测试通过而修改源码。beta 版 com.omi.computer-macos 是 E2E 测试标准目标,开发版 com.omi.desktop-dev 仅用于本地开发。