用途:Computer Use 让 Claude 操作虚拟计算机,执行截屏、移动光标、点击、输入等动作。适合没有 API 的旧应用自动化、跨应用工作流(从 A 复制到 B 再点确认)、让智能体驱动真实浏览器的 QA/UI 测试,以及混合网页与桌面的端到端自动化。
主要能力:通过工具定义 computer_20250124(含 display_width_px、display_height_px、display_number),可选 text_editor_20250124 与 bash_20250124。模型返回 tool_use 块,动作包括 screenshot、left_click、type、key、mouse_move、scroll。每次动作返回新截图供模型观察结果。
使用方式:调用 client.beta.messages.create,指定模型(如 claude-sonnet-4-6)、max_tokens、tools 和 messages,并带请求头 anthropic-beta: computer-use-2025-01-24。官方提供参考 Docker 容器 ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest,内含 Xvfb 虚拟 X 服务器、Firefox 及常用应用、VNC 观察和 HTTP shim。生产环境应改用沙箱云 VM(Firecracker、Vercel Sandbox、cloud-hypervisor)。
限制与成本:有 API 的场景不要用,API 快 10-100 倍且更便宜;高频任务每次动作都是一次模型调用,速度慢。1280×800 截图约 1600 输入 token,20 步任务可达 32K+ 图像 token,端到端延迟约 30 秒到 5 分钟。
安全:最大威胁是屏幕内容注入,智能体可能读取攻击者控制的文本并被诱导执行危险操作。缓解措施包括破坏性操作需人工确认、使用隔离 VM、网络白名单、任务边界限制,并提示智能体忽略页面或邮件中的指令。
最佳实践:先找 API,把它当最后手段;在一次性沙箱 VM 中运行;长任务拆成可验证子步骤;记录每步截图与动作日志;监控异常行为。不要在有真实用户数据的主机上运行演示容器。