SuperAPI AI 工具集

using-agent-browser

智能体与模型

查看项目

更新于 10-15 16:48

技能介绍

用途:在 orb 内使用预装的 agent-browser 与 Chrome for Testing(Chromium)完成浏览器交互、UI 检查、截图、交互录制和 Web E2E 检查。使用前先运行 agent-browser skills get core --full,它是命令、refs、会话、restore 和录制的版本匹配参考;本技能只补充 orb 环境带来的差异。

环境:浏览器运行在 orb 内,可直接打开 http://localhost:<port> 开发服务器。只有用户需要 portal URL,应向用户提供 portal URL,不要提供你浏览的 localhost URL。若缺少 Chrome,运行 agent-browser install。自签名 HTTPS 开发服务器需在首次 open 时传 --ignore-https-errors 和 --args "--allow-running-insecure-content",服务器提供 HTTP 端口时优先使用 HTTP。--args、--executable-path、--ignore-https-errors 等启动参数在会话浏览器启动时生效,只在首次 open 传,或在每条命令上传相同参数;参数不同或漏传会静默重启 Chrome,丢失页面状态和 2x 视口。给运行中会话加参数需先关闭再带参重开。--args 按逗号分割,逗号值参数不能通过它传递,需改用 --executable-path 包装脚本。

会话:整个工作流复用一个命名 --session;同一命名空间最多三个活动会话,名称不超过 20 字符。用完尽快关闭,内存密集任务前先关。浏览器守护进程会在 orb 暂停/恢复、CLI 重启和闲置一小时后退出;需要保持登录状态的会话在每条命令上传裸 --restore。restore 只保留 cookies 和存储,重启后需 open 完整 URL 并重设 viewport、device、media。tab ID 从 t1 开始。仅在用户要求控制已打开浏览器时加 --auto-connect。

截图:截图须为 2x(devicePixelRatio 2)。新会话或重启会话首次 open 后,以及任何省略缩放的 set viewport 后,运行 set viewport <w> <h> 2。用 eval devicePixelRatio 校验。输出路径作为 screenshot 最后一个位置参数,无 -s/--output 标志。整页用 --full。截图缩放着色由 set viewport 设置,不要用 --force-device-scale-factor。set viewport、set device、init 脚本仅作用于当前标签页。每次捕获前等待元素、文本、URL 或就绪信号;视口变更后等两帧动画。仅当元素在初始未滚动视口内才传选择器;否则滚动后截视口或截整页再裁剪。捕获前用媒体查看工具检查,超过 1 MiB 需压缩。

交互录制:当变更影响指针或键盘响应时录制片段(悬停、菜单、弹窗、内联表单、焦点、过渡)。用本技能目录的 scripts/action-video.mjs,需 Node 和 ffmpeg。先用悬停包装脚本启动会话。录制器驱动真实输入,fill/type 逐字符发送按键。start 到 stop 之间保持 AGENT_BROWSER_NAMESPACE 和 ACTION_VIDEO_SESSION 不变。stop 输出 MP4,30 秒以内附带循环 WebP。报告前逐帧检查。

触控与移动端:agent-browser 仅支持 Chromium,从不模拟触控。set viewport 和 set device 只改尺寸、DPR 和 UA。移动端截图、触控验证和 Safari 专属渲染问题需在 workspace 外的临时目录用 Playwright 设备描述文件,并说明所用引擎及已验证 (pointer: coarse)。

限制:无鼠标 click 子命令;click 用选择器或 ref,坐标操作用 mouse move/down/up。Playwright 伪选择器如 :has-text() 不可用。eval 中 dispatch 的事件不触发 :hover,:hover 只跟随 mouse move 的可信输入。batch step 字符串会去引号。orb 中 agent-browser 构建没有运行时 addinitscript 命令,需在启动时传 --init-script <path>。遇错先运行 agent-browser --version 和相应 --help,再改参数;不要循环重试挂起命令。