用途:omni-vu 为 macOS 提供“眼睛和手”,用于查看屏幕内容、理解界面状态、检测变化并执行鼠标键盘自动化。适合调试 UI 问题、验证界面改动、等待构建或部署完成、理解用户描述的屏幕内容、自动化重复操作以及截图记录功能。读写文件、执行终端命令或调用 API 时应使用其他工具;未授予屏幕录制权限时不应使用。
主要能力:捕获方面有 vu(全屏)、vu_window(按窗口 ID 或标题匹配)、vu_region(指定矩形区域)、vu_list_windows(列出可见窗口及元数据)、vu_list_monitors(列出显示器分辨率与缩放)。视觉方面 vu_describe 可先截图再交给 AI 分析,支持 claude、openai、gemini、ollama 提供方,并可设置 max_tokens。辅助工具有 vu_diff(检测屏幕是否变化及差异百分比)、vu_history(最近捕获元数据)、vu_last(最近一次捕获图像)、vu_status(系统信息)。自动化方面有 vu_click、vu_move、vu_drag、vu_scroll、vu_type、vu_hotkey,坐标按逻辑点校验,拖拽距离上限 2000px,cmd+q、cmd+shift+q、cmd+opt+esc 等危险快捷键被阻止。
使用方式:先捕获再操作,例如先 vu_describe 定位按钮坐标,再 vu_click;按需选择全屏、窗口或区域捕获;视觉提示要具体,如询问是否有错误信息、测试状态或表单字段值;自动化操作之间用 vu_diff 等待界面响应,操作后再次分析验证结果。轮询示例:循环调用 vu_diff(threshold=0.05),变化后再用 vu_describe 判断构建成功或失败。
配置与限制:需在系统设置中授予屏幕录制与辅助功能权限;视觉分析需在环境变量中配置对应 API 密钥,如 OMNI_VU_ANTHROPIC_API_KEY、OMNI_VU_OPENAI_API_KEY,并可设置 OMNI_VU_DEFAULT_PROVIDER 与 OMNI_VU_SAFETY_LEVEL。捕获历史存于 ~/.omni.vu/captures/。Retina 屏坐标使用逻辑点而非像素,多显示器需先查看显示器排列。资料未提供具体收费价格、支持的其他平台或版本信息。