SuperAPI AI 工具集

gemini-computer-use

智能体与模型

查看项目

更新于 10-15 16:48

技能介绍

用途:该技能用于构建和运行 Gemini 2.5 Computer Use 浏览器控制智能体,通过 Playwright 驱动浏览器,让模型根据用户目标自动操作网页,适用于网页自动化任务。

主要能力:智能体循环会截取页面截图,把用户目标与截图发送给模型;解析响应中的 function_call 动作;在 Playwright 中执行每个动作;若安全决策为 require_confirmation,则先向用户确认;再发送包含最新 URL 与截图的 function_response;直到模型仅返回文本(无动作)或达到回合上限。

安装与使用:先复制并编辑环境变量文件并 source:cp env.example env.sh、$EDITOR env.sh、source env.sh。创建虚拟环境并安装依赖:python -m venv .venv、source .venv/bin/activate、pip install google-genai playwright、playwright install chromium。运行脚本:python scripts/computer_use_agent.py --prompt "Find the latest blog post title on example.com" --start-url "https://example.com" --turn-limit 6。

浏览器选择:默认使用 Playwright 自带 Chromium,无需环境变量;可用 COMPUTER_USE_BROWSER_CHANNEL 选择 Chrome/Edge;可用 COMPUTER_USE_BROWSER_EXECUTABLE 指定自定义 Chromium 内核可执行文件(如 Brave);两者同时设置时后者优先。

操作建议与限制:建议在沙箱化浏览器配置或容器中运行;使用 --exclude 屏蔽不希望模型执行的高风险动作;除非有理由更改,视口保持 1440x900。需自行配置 API 密钥。其它功能、收费与平台支持信息暂未提供。