SuperAPI AI 工具集

agent-browser

智能体与模型

查看项目

更新于 10-16 05:28

技能介绍

agent-browser 是一个面向 AI 智能体的浏览器自动化技能,通过 inference.sh 提供服务,底层使用 Playwright,并采用简单的 @e 引用系统进行元素交互。

用途 该技能用于让 AI 智能体自动化操作浏览器,包括导航网页、与页面元素交互、截图和录制视频。它适合需要让智能体执行登录、填写表单、搜索、提取内容或进行浏览器操作演示与调试的场景。

安装与前置条件 安装 belt CLI 技能:npx skills add belt-sh/cli 该技能需要 inference.sh CLI(belt),安装说明见相关文档。使用前需执行:belt login

核心工作流 每次浏览器自动化都遵循以下模式:

  1. Open:导航到 URL,获取元素的 @e 引用。
  2. Interact:使用引用进行点击、填写、拖拽等操作。
  3. Re-snapshot:在导航或页面变化后,重新获取最新的引用。
  4. Close:结束会话,如果启用了录制则返回视频。

主要能力(函数)

  • open:导航到 URL,配置浏览器(视口、代理、视频录制)。
  • snapshot:在 DOM 变化后重新获取带有 @e 引用的页面状态。
  • interact:使用 @e 引用执行操作(点击、填写、拖拽、上传等)。
  • screenshot:截取页面截图(视口或整页)。
  • execute:在页面上运行 JavaScript 代码。
  • close:关闭会话,如果启用了录制则返回视频。

交互操作 interact 支持的操作包括:

  • click:点击元素(需要 ref)
  • dblclick:双击元素(需要 ref)
  • fill:清空并输入文本(需要 ref、text)
  • type:输入文本,不清空(需要 text)
  • press:按键,如 Enter、Tab 等(需要 text)
  • select:选择下拉选项(需要 ref、text)
  • hover:悬停在元素上(需要 ref)
  • check:勾选复选框(需要 ref)
  • uncheck:取消勾选复选框(需要 ref)
  • drag:拖拽并放置(需要 ref、target_ref)
  • upload:上传一个或多个文件(需要 ref、file_paths)
  • scroll:滚动页面(需要 direction:up/down/left/right,scroll_amount)
  • back:返回历史上一页
  • wait:等待毫秒数(需要 wait_ms)
  • goto:导航到 URL(需要 url)

元素引用与失效规则 页面元素以 @e 引用形式返回,例如: @e1 [a] "Home" href="/" @e2 [input type="text"] placeholder="Search" @e3 [button] "Submit" @e4 [select] "Choose option" @e5 [input type="checkbox"] name="agree" 重要:引用在导航后会失效。在以下情况后必须重新快照:点击会导航的链接或按钮、提交表单、动态内容加载。

特色功能

  • 视频录制:可录制浏览器会话,用于调试或文档记录,关闭会话时返回视频文件。
  • 光标指示器:在截图和视频中显示可见光标,表现为跟随鼠标移动的红点并显示点击反馈,适合演示。
  • 代理支持:可通过代理服务器路由流量,配置 proxy_url、proxy_username、proxy_password。
  • 文件上传:向文件输入元素上传文件。
  • 拖拽:将元素拖拽到目标元素。
  • JavaScript 执行:运行自定义 JavaScript,并返回结果与截图。

会话管理 浏览器状态在会话内持续存在。首次调用使用 --session new,后续调用使用返回的 session_id,完成后关闭会话。

文档与模板 提供深入文档:references/commands.md(完整函数参考)、references/snapshot-refs.md(引用生命周期、失效规则、故障排查)、references/session-management.md(会话持久化、并行会话)、references/authentication.md(登录流程、OAuth、2FA 处理)、references/video-recording.md(录制工作流)、references/proxy-support.md(代理配置、地区测试)。 提供即用模板:templates/form-automation.sh、templates/authenticated-session.sh、templates/capture-workflow.sh。

相关技能

  • Web 搜索:npx skills add inference-sh/skills@web-search
  • LLM 模型:npx skills add inference-sh/skills@llm-models

限制与注意事项 元素引用在导航或动态内容加载后会失效,需要重新快照。使用前需要 inference.sh CLI(belt)并完成 belt login。其他收费、价格、平台等具体信息暂未提供。