用途:Vision Sandbox 利用 Gemini 的原生代码执行能力分析图像,模型会在 Google 托管的沙箱中编写并运行 Python 代码来验证视觉数据,适用于 UI 审计、空间定位和视觉推理等需要高精度的场景。
主要能力:提供空间定位(找出元素并返回坐标)、视觉数学(基于图像计数或计算)、UI 审计(检查布局与可读性,如计算边界框交集)以及计数与逻辑任务(用代码验证计数结果)。
使用方式:安装命令为 clawhub install vision-sandbox。运行示例:uv run vision-sandbox --image "path/to/image.png" --prompt "Identify all buttons and provide [x, y] coordinates."。可配合 OpenCode 等自动化编码智能体使用:先用 vision-sandbox 提取 UI 元数据(坐标、尺寸、颜色),再把 JSON 输出交给 OpenCode 生成或修复 CSS/HTML。
配置:需要环境变量 GEMINI_API_KEY,模型默认使用 gemini-3-flash-preview。
限制:资料未提供更多关于平台支持、收费、性能或准确率的说明,暂未提供相关信息。