SuperAPI AI 工具集

os-use

通用与其它

查看项目

更新于 10-15 22:10

技能介绍

用途:os-use 用于跨平台操作系统自动化与屏幕控制,适合需要模拟人工操作桌面、识别屏幕内容或管理窗口的场景。支持 macOS 12+ 与 Windows 10+。

主要能力:截图(全屏、区域、窗口、剪贴板);视觉识别(图像匹配、模板匹配与置信度阈值、多尺度匹配、颜色检测,可选 OCR 需 pytesseract 与 Tesseract);鼠标键盘控制(移动、点击、拖拽、滚轮、文本输入、快捷键);窗口管理(列出窗口、获取位置尺寸标题、激活/最小化/关闭、移动缩放、启动退出应用);浏览器自动化(网页与元素截图、导航、表单填写、网络监控、性能分析,基于 Chrome DevTools MCP);剪贴板读写(文本与图像)。

使用方式:创建虚拟环境后安装依赖,例如 python3 -m venv ~/.nanobot/workspace/macos-automation/.venv,激活后执行 pip install pyautogui opencv-python-headless numpy Pillow pyperclip;Windows 另需 pip install pywinauto pygetwindow。macOS 需在系统设置中授予辅助功能与屏幕录制权限;Windows 部分操作可能需要管理员权限。

适用场景:自动化 UI 测试、数据录入自动化、屏幕监控与告警等。

限制:macOS 部分现代应用 AppleScript 支持有限,窗口标题可能被截断或本地化;Retina 与高 DPI 缩放可能影响坐标精度;多显示器支持有限,pyautogui 主要支持主显示器;OCR 需额外安装引擎。具体收费与价格暂未提供。