用途:让 Pi 智能体操作 macOS 可见应用窗口,适合网页操作、表单填写、快捷键触发、滚动与窗口管理等自动化场景。
主要能力:提供 list_apps、list_windows、screenshot、click、double_click、move_mouse、drag、scroll、keypress、type_text、set_text、wait、arrange_window、computer_actions 等工具。优先使用 screenshot 返回的 AX 引用(如 @e1)进行点击、设值、滚动等语义操作;引用带有 canSetValue、canPress、canFocus、canScroll、adjust 等能力元数据。坐标操作仅在没有合适 AX 目标时使用,并需携带最新 stateId 防止过期。computer_actions 可批量执行顺序动作,返回一次语义状态,每个动作附带 stealth 或 default 执行元数据。
使用方式:通过 pi install git:github.com/injaneity/pi-computer-use#v0.2.1 安装,或 npm install @injaneity/pi-computer-use。首次会话需为 bridge 授予辅助功能(AX 必需)与屏幕录制(截图必需)权限。典型流程为 list_apps/list_windows 发现目标,screenshot 选择窗口并获取 AX 引用,再执行 click、set_text、keypress 等操作。截图模式可用 image: auto/always/never 控制。可通过 /computer-use 查看配置,strictAX 可启用后台安全严格模式。
限制:仅支持 macOS;AX 引用会随状态变化过期,需重新截图;坐标操作有陈旧状态风险;严格模式下需要前台焦点的动作会报错。其余细节如完整配置格式、基准测试指标等资料未展开。