用途
Claude Computer Use Advanced 提供使用 Claude 计算机使用工具（computer use tool）的高级模式，用于构建 UI 自动化流程、测试应用程序、从屏幕提取数据以及跨操作系统控制应用程序。其核心思路是：不依赖 API，而是让 Claude 像人一样查看屏幕、点击元素、输入文字并使用键盘快捷键，从而自动化任何具有图形界面的桌面任务。
主要能力
技能中列出的计算机使用核心能力包括：
- 截图并分析视觉内容
- 使用精确坐标点击屏幕元素
- 输入文本并提交表单
- 按下键盘快捷键和特殊按键
- 滚动、拖拽并执行复杂鼠标操作
- 使用缩放工具检查特定屏幕区域（仅 Opus 4.5）
- 执行多步骤自动化工作流
- 以编程方式控制应用程序与软件
相关模型
- Claude Opus 4.5（computer_20251124）：最新版本，带有缩放工具，可提升视觉准确度
- Claude 4 / Sonnet 3.7（computer_20250124）：稳定版本，支持完整动作
适用场景
资料列出以下几类使用场景：
桌面自动化：批量处理重复任务、表单填写与数据录入工作流、文件和文件夹管理、配置与安装自动化、多应用工作流。
应用程序测试：自动化 UI 测试框架、跨平台测试工作流、视觉回归测试、用户交互模拟、质量保证自动化。
屏幕分析与数据提取：从应用程序中提取文本和数据、分析视觉布局与设计、读取非 API 系统的内容、截图分析与理解、类 OCR 的屏幕文本提取。
应用程序控制与集成：控制没有 API 的遗留应用、为封闭系统创建自动化智能体、构建 RPA（机器人流程自动化）工作流、编排多应用流程、软件测试与验证。
使用方式：核心任务
任务 1：截图。截图是计算机使用的基础，Claude 需要看到屏幕才能决定下一步。通常作为任何工作流的第一个动作，在点击元素前用于获取坐标，在动作后用于验证结果。坐标系统以屏幕左上角为原点 (0, 0)，X 向右增大，Y 向下增大，坐标为显示器像素位置。推荐分辨率 1024x768（标准为 1280x800）。
任务 2：点击元素。点击是与按钮、链接、复选框、菜单项等可点击界面元素交互的主要方式。点击动作接收 x、y 坐标并在该位置发送鼠标点击。示例：{"type": "left_click", "coordinate": [640, 400]}。高级点击类型包括 left_click（标准单击）、right_click（打开上下文菜单）、double_click（选择文本或触发双击动作）、middle_click（部分应用使用中键）、click_holding（按住以进行拖拽）。建议瞄准可点击元素中心，必要时使用缩放工具提高精度，点击失败则重新截图并调整坐标。
任务 3：输入文本与表单填写。输入动作逐字符发送键盘输入，文本在光标位置输入，通常先点击文本框。流程为：截图查看表单、点击目标文本框、输入文本、可选按 Enter 或 Tab 提交或移动、截图验证。特殊字符通过 key 动作实现，如 Return、Tab、BackSpace、ctrl+a、ctrl+c、ctrl+v 等。
任务 4：键盘控制与特殊按键。key 动作可按下按键或组合键。常见包括 Return、Tab、BackSpace、Delete、Escape、方向键以及 ctrl+a/c/v/z/s、alt+Tab 等快捷键。还支持按键保持，例如 {"type": "key", "key": "shift", "held": True}，用于在点击时按住 Shift。
任务 5：使用缩放工具（Opus 4.5 专属）。缩放工具捕获屏幕的矩形区域并以全分辨率返回，不做降采样，便于读取小字、识别元素边界、确定精确点击坐标。参数格式为 [x1, y1, x2, y2]，示例：{"type": "zoom", "coordinate": [400, 200, 800, 400]}。建议在初始截图无法清晰显示元素时使用，区域四周留出 20–30 像素余量，仅在精度关键时使用。
任务 6：多步骤自动化工作流。复杂自动化需要跨步骤协调多个动作。智能体循环执行动作序列，通过截图理解结果并决定下一步，直到工作流完成。资料给出了伪代码形式的智能体循环模式，包括：截图查看初始状态、分析截图并点击、截图查看结果、根据新状态填写表单、提交、截图验证。错误恢复方式为：截图、重新评估坐标、调整位置重试、必要时使用缩放、继续工作流。状态追踪包括记录已完成步骤、记住提取的数据、维护当前应用状态上下文、以截图作为状态检查点。
任务 7：应用程序控制与系统交互。除 UI 点击外，还可用标准鼠标键盘操作控制应用、导航系统界面。例如通过菜单栏点击、使用 ctrl+o 打开文件对话框、直接输入路径或双击文件夹导航、用 alt+Tab 切换窗口，并在窗口切换之间截图。
快速开始示例
资料提供了一个填写网页表单的完整示例，包含 Python 代码：定义 computer use 工具（computer_20251124，display_width_px 1024，display_height_px 768，display_number ":1"），构造消息，调用 client.messages.create（model 为 claude-opus-4-5-20250929，max_tokens 1024，tools 为 tools，headers 包含 {"anthropic-beta": "computer-use-2025-11-24"}），并遍历响应内容块，根据 action["type"] 分别处理 screenshot、left_click、type 等动作。
参考文档
资料提到以下参考文件：
- references/computer-use-api.md：完整 API 文档，含所有工具版本与动作类型
- references/advanced-patterns.md：高级自动化模式、多步骤工作流、缩放工具技巧与最佳实践
限制
资料未提供该技能的安装命令、收费与价格信息、独立运行方式或具体平台兼容性清单，这些内容暂未提供。