SuperAPI AI 工具集

claude-computer-use

智能体与模型

查看项目

更新于 10-16 00:04

技能介绍

用途:通过“截屏 + Claude 视觉理解 + 坐标操作”控制任意桌面应用,是桌面自动化的终极后备方案。仅在 peekaboo(macOS)、pywinauto(Windows)、browser(网页)无法操作目标应用、需要视觉判断,或用户明确要求精确坐标控制时使用;优先选用更轻量、成本更低的方案。

主要能力:支持 screenshot 截屏、left_click、right_click、double_click、triple_click、middle_click、mouse_move、left_click_drag 拖拽、scroll 滚动、type 输入文本、key 按键/组合键、hold_key、wait 等操作。

工作流程:循环执行“截屏→发送截图给 Claude Computer Use API→Claude 返回 tool_use(action + coordinates)→本地执行操作→未完成则继续”,直至任务结束。

API 与用法:调用时在 tools 中设置 type(computer_20250124,或 Opus 4.6 的 computer_20251124)、name 为 computer、display_width_px、display_height_px,可选 display_number;betas 设为 computer-use-2025-01-24(或 Opus 4.6 的 computer-use-2025-11-24)。本地可配合 cliclick/AppleScript(macOS)或 pyautogui(Windows)执行动作。

成本与限制:每次截屏约 1000-3000 tokens,典型 5-10 次循环约 10000-30000 tokens;降低截屏分辨率(1280x800 效果最佳)可显著减少成本。需限制 max_iterations 防止无限循环。安全上建议每次操作前经用户确认、不自动输入密码、不操作金融应用、不授予管理员权限。其余官方说明暂未提供。