SuperAPI AI 工具集

computer-control

编程与开发

查看项目

更新于 10-15 17:20

技能介绍

用途:通过截图与鼠标、键盘操作让 Claude 看见并控制桌面环境,适合缺少 CLI 替代方案的 GUI 自动化、需视觉交互的 Web 应用测试、填表与菜单导航,以及需要视觉验证的自动化流程。若任务可用 CLI 或 API 完成,或浏览器自动化更适合用 Playwright 或 CDP,则不要使用。该技能默认关闭,必须显式调用。

架构分三层:Display Toolkit(phantom.display)通过 xdotool/scrot 在真实或虚拟显示器上执行系统级操作;Agent Loop(phantom.loop)管理 Claude API 与显示工具之间的话轮循环;CLI(phantom.cli)用于运行任务或检查环境。

用法:先检查环境 cd plugins/phantom 后运行 uv run python -m phantom.cli --check;运行任务需设置环境变量 export ANTHROPIC_API_KEY="sk-ant-...",再执行 uv run python -m phantom.cli "Open Firefox and search for Claude AI"。也可在 Python 中从 phantom.display 导入 DisplayConfig、DisplayToolkit,从 phantom.loop 导入 LoopConfig、run_loop 并调用 run_loop。模型与工具版本映射由 resolve_tool_version() 自动处理。支持的动作包括截图、左键点击、输入文本、按键组合、移动鼠标;20250124 起增加滚动、拖拽、右键、中键、双击、三击、长按和等待;20251124 增加区域放大查看。

环境要求:Linux(原生或 WSL2 配 WSLg)需 sudo apt install xdotool scrot xclip;无头环境(Docker/CI)需安装 xvfb 并启动虚拟显示,设置 DISPLAY。

限制与安全:存在风险,建议在 Docker 或 VM 沙箱运行,不要在主系统上运行;非必要时不提供登录凭据,尤其不要用于银行等敏感服务;每次 run_loop 必须设置 max_iterations 以防 API 成本失控;对有实际后果的操作应通过 on_action 加确认回调;启动前关闭敏感应用,因为截图会看到整个屏幕。提示时宜明确每个步骤,可要求每步截图验证,UI 元素难以点击时用键盘快捷键。退出标准包括 --check 以 0 退出、设置迭代上限、结果包含迭代次数与 final_text(为空视为失败)、任务开始前关闭敏感应用且提示中不含凭据。具体收费与价格暂未提供。