Gemini Computer Use 是一个基于 Playwright 的浏览器控制智能体示例工具,用于构建和运行 Gemini 2.5 Computer Use 智能体,实现网页浏览器任务的自动化。当用户希望通过 Gemini Computer Use 自动化浏览器操作时,可以使用此技能。
快速开始
首先复制环境变量文件并设置 API 密钥: cp env.example env.sh $EDITOR env.sh source env.sh
创建虚拟环境并安装依赖: python -m venv .venv source .venv/bin/activate pip install google-genai playwright playwright install chromium
使用提示词运行智能体脚本:
python scripts/computer_use_agent.py
--prompt "Find the latest blog post title on example.com"
--start-url "https://example.com"
--turn-limit 6
浏览器选择
默认使用 Playwright 自带的 Chromium,无需环境变量。可以通过 COMPUTER_USE_BROWSER_CHANNEL 选择浏览器渠道(Chrome/Edge)。也可以通过 COMPUTER_USE_BROWSER_EXECUTABLE 使用自定义的基于 Chromium 的可执行文件(例如 Brave)。如果两者同时设置,COMPUTER_USE_BROWSER_EXECUTABLE 优先。
核心工作流(智能体循环)
捕获截图,并将用户目标与截图发送给模型。解析响应中的 function_call 操作。在 Playwright 中执行每个操作。如果 safety_decision 为 require_confirmation,则在执行前提示用户确认。发送包含最新 URL 与截图的 function_response 对象。重复以上步骤,直到模型仅返回文本(无操作)或达到轮次限制。
操作指南
建议在沙箱化的浏览器配置文件或容器中运行。使用 --exclude 阻止不希望模型执行的高风险操作。除非有理由更改,否则保持视口为 1440x900。
资源
脚本:scripts/computer_use_agent.py 参考说明:references/google-computer-use.md 环境变量模板:env.example