SuperAPI AI 工具集

computer-use

智能体与模型

查看项目

更新于 10-16 09:47

技能介绍

用途:该技能把 Claude 的 Computer Use 工具接入代理工作流,实现对桌面环境的自动化操作,例如自动填表、应用测试与 QA、桌面软件交互、无头模式不可用时的浏览器自动化、遗留系统集成及截图验证。

主要能力:基于截图判断界面状态;支持 left_click、right_click、middle_click、double_click、triple_click、mouse_move、left_click_drag、left_mouse_down/up、type、key、hold_key、scroll、wait 等动作;computer_20250124 版本含增强动作,Opus 4.5 的 computer_20251124 支持 zoom(需 enable_zoom: true)。每个动作后返回截图供模型校验。

使用方式:先准备沙箱环境,推荐运行 Anthropic 参考容器:docker run -it --rm -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY -p 5900:5900 -p 8501:8501 ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest;也可用最小权限、网络隔离的专用虚拟机。配置工具时设定 display_width_px、display_height_px(默认 1024x768)与 display_number。核心为代理循环:调用 Claude 并附带 betas: ["computer-use-2025-01-24"],解析 tool_use 块,执行动作并回传截图作为 tool_result,直至 stop_reason 为 end_turn 或达到最大迭代。分辨率不一致时按比例缩放坐标。

适用场景:开发者、QA、DevOps 排障等代理可用于 UI 验证、端到端测试、系统调试与桌面自动化。

限制:必须沙箱执行,不得在含敏感数据或凭据的主机运行;需限制权限与网络;破坏性操作建议人工确认;截图内容可能带来提示注入风险,应设置允许列表并核对动作是否符合原任务;需处理缺失 beta 头、坐标越界、速率限制及界面未就绪等错误。价格与平台信息暂未提供。