SuperAPI AI 工具集

desktop-control

通用与其它

查看项目

更新于 10-15 20:31

技能介绍

用途:让用户在对话中请求控制电脑时,执行鼠标移动、点击、拖拽、滚动,键盘输入、按键与组合键,以及读取屏幕信息与辅助功能树,实现桌面交互自动化。

主要能力:附带三个 Python 脚本,缺依赖时会自动安装 pyautogui。

  • mouse.py:move、click、doubleclick、rightclick、drag、scroll、position,参数含 x/y、button、to_x/to_y、amount 等。
  • keyboard.py:type、press、hotkey,参数含 text、key、keys、interval(默认 0.02 秒);支持 enter、tab、escape、方向键、f1-f12、command、ctrl、alt、shift 等键名。
  • screen.py:info(屏幕尺寸与鼠标位置)、capture(截图,可指定输出路径与区域)、read-ui(读取最前应用的辅助功能树,返回窗口标题、按钮、文本框、菜单等,可加 --depth 限制深度),read-ui 是交互前了解屏幕的主要方式。

使用方式:命令形如 python3 skills/desktop-control/scripts/mouse.py click --x 500 --y 300,以及 keyboard.py type --text "Hello World"、keyboard.py hotkey --keys "command+c"、screen.py read-ui。典型流程为先 read-ui 了解界面、定位目标,再用鼠标/键盘操作,最后再次读屏验证。

适用场景:桌面应用自动化、表单填写、快捷操作、根据屏幕内容做决策的交互任务。

限制:需为运行终端或 IDE 开启辅助功能权限,macOS 在“系统设置 > 隐私与安全性 > 辅助功能”中启用;read-ui 依赖 AppleScript,主要用于 macOS。坐标与深度等参数需按实际屏幕调整。其他平台支持情况、收费与价格暂未提供。