SuperAPI AI 工具集

agent-browser

智能体与模型

查看项目

更新于 10-13 17:28

技能介绍

用途

Agent-browser 是一个面向 AI 智能体的浏览器自动化技能,通过 inference.sh 平台使用,底层采用 Playwright 实现。它让智能体能够以编程方式浏览网页并与页面元素交互,适用于需要模拟真实浏览器行为的自动化任务。

主要能力

工具提供以下核心函数:

  • open:导航到指定 URL,并可配置浏览器(视口、代理、视频录制)。
  • snapshot:在 DOM 变化后重新获取页面状态及 @e 元素引用。
  • interact:使用 @e 引用执行操作,包括 click、dblclick、fill、type、press、select、hover、check、uncheck、drag、upload、scroll、back、wait、goto。
  • screenshot:截取页面截图(视口或整页)。
  • execute:在页面上运行 JavaScript 代码。
  • close:关闭会话,若开启录屏则返回视频文件。

附加功能包括:视频录制(record_video)、光标指示器(show_cursor,以红点跟随鼠标并显示点击反馈)、代理支持(proxy_url、proxy_username、proxy_password)、文件上传、拖拽操作以及 JavaScript 执行。

使用方式

需先安装并登录 inference.sh CLI(belt):

npx skills add belt-sh/cli
belt login

每次浏览器自动化遵循固定模式:

  1. 打开页面并获取 @e 引用。
  2. 使用引用进行交互。
  3. 导航或变化后重新快照以获取新引用。
  4. 完成后关闭会话(如录制则返回视频)。

示例:

belt app run agent-browser --function open --input '{"url": "https://example.com"}' --session new

后续操作用返回的 session_id 关联。元素以 @e1 [a] "Home" href="/" 形式返回。

适用场景

  • 表单自动填写与提交
  • 搜索并提取页面内容
  • 带截图的页面捕获
  • 需要录屏调试或演示的流程
  • 需要代理路由的访问
  • 登录流程、OAuth、2FA 处理(文档提及)
  • 并行会话管理(文档提及)

限制与注意事项

  • 元素引用(@e)在导航后失效。链接/按钮跳转、表单提交、动态内容加载后必须重新快照。
  • 浏览器状态仅在会话内持久;首次调用需 --session new,后续使用返回的 session_id,完成需关闭会话。
  • 需要 inference.sh CLI(belt)并登录后使用。
  • 收费、价格等商业信息暂未提供。

相关技能

可搭配:

npx skills add inference-sh/skills@web-search
npx skills add inference-sh/skills@llm-models

文档提供深入参考(commands.md、snapshot-refs.md、session-management.md、authentication.md、video-recording.md、proxy-support.md)及模板(form-automation.sh、authenticated-session.sh、capture-workflow.sh)。