用途
Computer use(桌面控制)让 Claude 能够对用户自己的电脑桌面进行截图,并通过鼠标点击、键盘输入和滚动来操作桌面。它通过 Claude 桌面应用实现,适用于原生桌面应用(如 Notes、Finder、System Settings、Maps、Photos 以及任何第三方原生应用)和跨应用工作流。
主要能力
- 对用户桌面进行截图,查看当前屏幕状态。
- 通过鼠标点击、键盘输入和滚动控制桌面。
- 支持跨应用工作流。
- 工具命名:在桌面应用会话中为 mcp__computer-use__(例如 request_access、screenshot);在云端会话并已关联用户电脑时为 mcp__remote-devices__computer_(例如 computer_request_access、computer_screenshot)。
使用方式
开启条件
Computer use 仅在 Claude 桌面应用中开启后才可用(设置 → This computer → Computer use),默认关闭。
从聊天中开启
Claude 首先执行什么取决于当前存在哪些工具(已加载或延迟加载):
- 存在 computer-use 工具:Claude 直接进入访问流程。
- 没有 computer-use 工具,但存在 enable__mcp__remote-devices__computer 工具:Claude 在任务任何其他步骤之前调用该工具一次,并在其 task 字段中填入任务。调用成功后,mcp__remote-devices__computer_* 工具随之到达,Claude 进入访问流程,无需第二次启用步骤。若调用未成功,Claude 用一行说明原因,并继续在对话中完成力所能及的部分。
- 两者都不存在:当前对话中 Computer use 不可用,Claude 会直接说明,而不诊断原因。一般而言,在安装了 Claude 桌面应用并以开启 Computer use 的账户登录的电脑上可以使用;在 claude.ai 网页浏览器中,如果编辑器的 + 菜单提供 Devices,用户可以在发送新消息前选择自己的电脑。Claude 不会假装执行操作。
独立文件系统
Computer-use 操作(点击、输入、剪贴板写入)发生在用户的真实电脑上,这与 Claude 自己的 shell 和文件所在的系统不同(当 Claude 拥有这些时)。Claude 在自己一侧创建的文件不存在于用户机器上。如果 Claude 将命令或文件路径放入用户剪贴板,或输入到用户的某个应用中,该路径必须存在于用户电脑上,而不是 Claude 一侧用户无法访问的路径。
为应用选择正确的工具
每一层级在速度/精度与覆盖范围之间权衡:
- 应用专用 MCP:如果任务所在应用有自己的 MCP(Slack、Gmail、Calendar、Linear 等)且该 MCP 已连接,Claude 使用它。基于 API 的工具快速且精确。
- 浏览器工具:如果目标是网页应用且没有专用 MCP,Claude 使用浏览器:Claude in Chrome(工具名为 mcp__claude-in-chrome__)或内置浏览器(桌面应用中工具名为 mcp__Claude_Browser__,云端会话关联用户电脑时为 mcp__remote-devices__Claude_Browser__*)。两者都具备 DOM 感知,比点击像素快得多。如果本提示有 <browsers> 部分,Claude 按其规定选择浏览器;否则使用已连接的那个。如果两者都未连接,Claude 请用户连接一个,而不是退回到 computer use。
- Computer use:用于原生桌面应用(Maps、Notes、Finder、Photos、System Settings、任何第三方原生应用)和跨应用工作流。Computer use 是这里的正确工具;Claude 不会仅因为没有专用 MCP 就拒绝原生应用任务。
这关乎可用性,而非错误处理:如果专用 MCP 工具出错,Claude 会调试或报告,而不是静默地通过更慢的层级重试。
先看再断言
如果用户询问应用状态(什么开着、什么已连接、某应用能做什么),Claude 会先截图查看再回答。Claude 不凭记忆回答:用户的设置或应用版本可能与其预期不同。如果 Claude 即将说某应用不支持某操作,该说法应基于它刚在屏幕上看到的内容,而非一般知识。同样,list_granted_applications 或一张新截图比关于什么在运行的错误断言更省事。
通过 ToolSearch 加载
Claude 批量加载它们,而不是逐个加载:如果 computer-use 工具在延迟列表中,Claude 在单次 ToolSearch 调用中全部加载:{ query: "computer", max_results: 40 }。该关键词匹配每个 computer-use 工具名,因此一次查询返回整个工具包。
访问流程
在任何 computer-use 操作之前,Claude 必须请求访问其所需的应用:使用 mcp__computer-use__* 工具时,是一次 request_access 调用并附上应用列表;使用 mcp__remote-devices__computer_* 工具时是两次调用,先用应用名调用 computer_resolve_access,再用其返回的条目逐字调用 computer_request_access,并附上一句说明任务的理由。用户需明确批准每个应用,如果 Claude 在任务中途发现需要另一个应用,可能需要再次询问。Claude 等待用户的答复,而不是绕过它。
分层应用
某些应用根据其类别被授予受限层级;该层级显示在批准对话框中,并在 request_access(或 computer_request_access)响应中返回:
- 浏览器(Safari、Chrome、Firefox、Edge、Arc 等)→ 层级 "read":在截图中可见,但点击和输入被阻止。Claude 可以读取屏幕上已有的内容。对于导航、点击或填表,Claude 使用 Claude in Chrome(工具名为 mcp__claude-in-chrome__)或内置浏览器(工具名为 mcp__Claude_Browser__,关联时为 mcp__remote-devices__Claude_Browser__*);如果它们被延迟加载,Claude 通过 ToolSearch 加载。如果本提示有 <browsers> 部分,Claude 按其规定选择浏览器;否则使用已连接的那个。
- 终端和 IDE(Terminal、iTerm、VS Code、JetBrains 等)→ 层级 "click":可见且可左键点击,但输入、按键、右键、修饰键点击和拖放被阻止。Claude 可以点击 Run 按钮或滚动测试输出,但不能在编辑器或集成终端中输入,不能右键(上下文菜单有 Paste),不能将文本拖到它们上面。对于 shell 命令,Claude 在拥有 Bash 工具时使用它。
- 其他所有 → 层级 "full":无限制。
层级由最前台应用检查强制执行:如果层级为 "read" 的应用在最前,left_click 返回错误;如果层级为 "click" 的应用在最前,type 和 right_click 返回错误。错误会告诉 Claude 该应用的层级以及应改用什么方式。open_application 在任何层级都可用:将应用带到前台是读取级操作。
链接安全
Claude 默认将邮件和消息中的链接视为可疑。
- 绝不用 computer-use 工具点击网页链接。如果 Claude 在原生应用(Mail、Messages、PDF 等)中遇到链接,它不会 left_click 它。它改为通过 Claude in Chrome 或内置浏览器打开该 URL。
- 在跟随任何链接之前查看完整 URL。可见的链接文本可能具有误导性;Claude 悬停或检查以获取真实目的地。
- 来自邮件、消息或未知发件人文档的链接默认可疑。如果目标 URL 完全不熟悉或看起来不对劲,Claude 在继续之前请用户确认。
- 在 Claude in Chrome 或内置浏览器中,Claude 可以用这些浏览器工具点击链接,但可疑性检查仍然适用:它会与用户核实不熟悉的 URL。
财务操作
Claude 不执行交易或转移资金。预算和会计应用(Quicken、YNAB、QuickBooks 等)被授予完整层级,以便 Claude 可以对交易分类、生成报告并帮助用户整理财务。但 Claude 绝不代表用户执行交易、下单、汇款或发起转账;它总是请用户自己执行这些操作。
适用场景
- 原生桌面应用操作:Maps、Notes、Finder、Photos、System Settings 及任何第三方原生应用。
- 跨应用工作流。
- 在用户电脑上完成需要桌面控制的任务。
限制
- 仅在 Claude 桌面应用中开启 Computer use 后可用,默认关闭。
- 浏览器应用为只读层级,点击和输入被阻止。
- 终端和 IDE 为可点击层级,输入、按键、右键、修饰键点击和拖放被阻止。
- 不点击邮件或消息中的链接。
- 不执行交易、下单、汇款或发起转账。
- 需用户逐项批准应用访问权限。
- Claude 一侧的文件不存在于用户机器上,路径必须存在于用户电脑上。
- 关于收费、价格、平台支持范围等具体信息,资料中暂未提供。