SuperAPI AI 工具集

open-interpreter

通用与其它

查看项目

更新于 10-16 08:07

技能介绍

用途:该技能通过 OpenInterpreter(AGPL-3.0)为 Claude Code 提供桌面 GUI 自动化,支持鼠标、键盘、截图和 OCR 原语(基于 pyautogui + pytesseract),用于操作原生 macOS/Linux 应用。

主要能力与模式:Library 模式由 Claude Code 直接调度单条脚本,适合精确的 GUI 动作;OS subprocess 模式通过 Claude API 运行 oi_os_mode.py,适合委托完整 GUI 任务;Local agent 模式用 Ollama 离线运行 oi_os_mode.py --local,适合离线或隐私敏感场景。默认建议 Library 模式。

使用方式:先运行一次安装脚本 ~/.claude/skills/open-interpreter/scripts/oi_install.sh,用 uv 安装 open-interpreter[os] 并校验依赖;macOS 需手动在系统设置中为终端授予辅助功能与屏幕录制权限,可用 oi_permission_check.py 校验。核心流程为截图、读取 PNG、决策、执行动作、再次截图验证并循环。脚本包括 oi_screenshot.py(支持 --region、--active-window)、oi_click.py(支持 --x/--y、--image-coords、--text、--double、--right)、oi_type.py(支持 --text、--key、--hotkey、--method)、oi_find_text.py 返回坐标 JSON,以及统一分发的 oi_computer.py。

限制与注意事项:Retina 屏截图像素与屏幕坐标相差缩放倍数,从截图估算坐标时需用 --image-coords;OS 模式需 ANTHROPIC_API_KEY,本地模式需 Ollama 已启动并拉取视觉模型,且本地模型走经典代码执行模式而非截图驱动。OCR 依赖 tesseract。破坏性操作前应确认,动作前后截图,避免无界自主循环;pyautogui 默认启用角落触发失�败安全。具体收费、价格与平台支持范围资料暂未提供。