agent-browser 是一个面向 AI 智能体的浏览器自动化技能,通过 inference.sh 提供服务,底层使用 Playwright,并采用简单的 @e 引用系统进行元素交互。
用途 该技能用于让 AI 智能体自动化操作浏览器,包括导航网页、与页面元素交互、截图和录制视频。它适合需要让智能体执行登录、填写表单、搜索、提取内容或进行浏览器操作演示与调试的场景。
安装与前置条件 安装 belt CLI 技能:npx skills add belt-sh/cli 该技能需要 inference.sh CLI(belt),安装说明见相关文档。使用前需执行:belt login
核心工作流 每次浏览器自动化都遵循以下模式:
- Open:导航到 URL,获取元素的 @e 引用。
- Interact:使用引用进行点击、填写、拖拽等操作。
- Re-snapshot:在导航或页面变化后,重新获取最新的引用。
- Close:结束会话,如果启用了录制则返回视频。
主要能力(函数)
- open:导航到 URL,配置浏览器(视口、代理、视频录制)。
- snapshot:在 DOM 变化后重新获取带有 @e 引用的页面状态。
- interact:使用 @e 引用执行操作(点击、填写、拖拽、上传等)。
- screenshot:截取页面截图(视口或整页)。
- execute:在页面上运行 JavaScript 代码。
- close:关闭会话,如果启用了录制则返回视频。
交互操作 interact 支持的操作包括:
- click:点击元素(需要 ref)
- dblclick:双击元素(需要 ref)
- fill:清空并输入文本(需要 ref、text)
- type:输入文本,不清空(需要 text)
- press:按键,如 Enter、Tab 等(需要 text)
- select:选择下拉选项(需要 ref、text)
- hover:悬停在元素上(需要 ref)
- check:勾选复选框(需要 ref)
- uncheck:取消勾选复选框(需要 ref)
- drag:拖拽并放置(需要 ref、target_ref)
- upload:上传一个或多个文件(需要 ref、file_paths)
- scroll:滚动页面(需要 direction:up/down/left/right,scroll_amount)
- back:返回历史上一页
- wait:等待毫秒数(需要 wait_ms)
- goto:导航到 URL(需要 url)
元素引用与失效规则 页面元素以 @e 引用形式返回,例如: @e1 [a] "Home" href="/" @e2 [input type="text"] placeholder="Search" @e3 [button] "Submit" @e4 [select] "Choose option" @e5 [input type="checkbox"] name="agree" 重要:引用在导航后会失效。在以下情况后必须重新快照:点击会导航的链接或按钮、提交表单、动态内容加载。
特色功能
- 视频录制:可录制浏览器会话,用于调试或文档记录,关闭会话时返回视频文件。
- 光标指示器:在截图和视频中显示可见光标,表现为跟随鼠标移动的红点并显示点击反馈,适合演示。
- 代理支持:可通过代理服务器路由流量,配置 proxy_url、proxy_username、proxy_password。
- 文件上传:向文件输入元素上传文件。
- 拖拽:将元素拖拽到目标元素。
- JavaScript 执行:运行自定义 JavaScript,并返回结果与截图。
会话管理 浏览器状态在会话内持续存在。首次调用使用 --session new,后续调用使用返回的 session_id,完成后关闭会话。
文档与模板 提供深入文档:references/commands.md(完整函数参考)、references/snapshot-refs.md(引用生命周期、失效规则、故障排查)、references/session-management.md(会话持久化、并行会话)、references/authentication.md(登录流程、OAuth、2FA 处理)、references/video-recording.md(录制工作流)、references/proxy-support.md(代理配置、地区测试)。 提供即用模板:templates/form-automation.sh、templates/authenticated-session.sh、templates/capture-workflow.sh。
相关技能
- Web 搜索:npx skills add inference-sh/skills@web-search
- LLM 模型:npx skills add inference-sh/skills@llm-models
限制与注意事项 元素引用在导航或动态内容加载后会失效,需要重新快照。使用前需要 inference.sh CLI(belt)并完成 belt login。其他收费、价格、平台等具体信息暂未提供。