SuperAPI AI 工具集

computer-use-agents

智能体与模型

查看项目

更新于 10-16 06:51

技能介绍

该主题介绍如何构建像人一样操作电脑的 AI 智能体,即查看屏幕、移动光标、点击按钮和输入文字,内容围绕 Anthropic 的 Computer Use 展开。

用途与核心思想:采用感知—推理—行动循环架构。感知阶段截屏获取当前屏幕状态;推理阶段由视觉语言模型分析并规划;行动阶段执行鼠标与键盘操作;反馈阶段观察结果,决定继续或纠正。资料指出视觉智能体在“思考”阶段完全静止(1—5 秒),形成可检测的停顿模式。

主要实现模式:一是基于 Anthropic Computer Use 的官方实现,使用工具包括 screenshot(截图)、mouse(点击、移动、拖拽)、keyboard(输入文本、按键)、bash(运行 shell 命令)、text_editor(查看与编辑文件)。工具版本方面,computer_20251124(Opus 4.5)新增 zoom 动作用于细节检查,computer_20250124 适用于其他模型的标准能力。二是沙箱化环境模式,强调智能体必须在隔离的沙箱中运行,通过 Docker 容器加虚拟桌面实现隔离,要求限制网络、限制或只读文件系统、不接触主机凭据、过滤危险系统调用、限制 CPU 内存时间,目标是“爆炸半径最小化”。

使用方式:资料给出 Python 示例代码(使用 anthropic、PIL、pyautogui、base64 等),定义 ComputerUseAgent 类并设置 max_steps 防止失控循环、action_delay 控制动作间隔;还给出 Dockerfile 与 docker-compose 的安全约束配置(security_opt、seccomp、资源限制、内部网络、只读根文件系统等)。

限制与风险:资料列出若干需注意的问题,包括必须始终使用沙箱、需实现上下文管理、需监控并限制成本、动作可加入类人随机性、尽量使用键盘替代方案、部分 UI 元素(如下拉菜单和滚动条)可能难以操作。

适用场景:从零构建电脑操作智能体、将视觉模型与桌面控制集成、在生产中部署、在沙箱内安全测试智能体行为、运行不受信任的自动化任务。