SuperAPI AI 工具集

omni-vu

办公与效率

查看项目

更新于 10-15 23:33

技能介绍

用途:omni-vu 为 macOS 提供屏幕捕获、AI 视觉分析与 GUI 自动化能力,适合调试界面问题、验证改动渲染、等待构建或部署完成、理解用户描述的屏幕内容、自动化重复操作以及截图记录功能。

主要能力:捕获方面有 vu(全屏)、vu_window(按窗口 ID 或标题匹配)、vu_region(指定矩形区域)、vu_list_windows、vu_list_monitors。视觉方面有 vu_describe,可指定 prompt、provider(claude、openai、gemini、ollama)、max_tokens 与 capture_first。工具方面有 vu_diff 检测画面变化、vu_history、vu_last、vu_status。自动化方面有 vu_click、vu_move、vu_drag、vu_scroll、vu_type、vu_hotkey。

使用方式:先捕获再操作,例如先 vu_describe 定位按钮,再按坐标点击;用 vu_diff 轮询等待构建或部署结束,再用 vu_describe 判断结果;填表时先点击字段再输入,用 vu_hotkey 切换焦点,最后验证。配置通过环境变量 OMNI_VU_ANTHROPIC_API_KEY、OMNI_VU_OPENAI_API_KEY、OMNI_VU_DEFAULT_PROVIDER、OMNI_VU_SAFETY_LEVEL 完成,历史保存在 ~/.omni.vu/captures/。

适用场景:界面调试、构建与部署状态确认、表单填写、界面导航、仪表盘变化监控、功能截图。

限制:仅支持 macOS;需授予屏幕录制与辅助功能权限;坐标按逻辑点而非像素计算,Retina 与多显示器需注意;部分危险快捷键(如 cmd+q)被阻止;拖拽距离上限 2000px;读取文件、执行终端命令、调用 API 应使用其他工具;未授予屏幕录制权限时不可用。