SuperAPI AI 工具集

Agent-E

Agent-E 是一个基于 AG2 智能体框架、专注于浏览器自动化的智能体系统,可通过自然语言指挥浏览器完成填表、搜索排序商品、查找网页信息、播放视频、在 JIRA 等平台管理任务以及网络搜索等操作。

访问官网

工具介绍

Agent-E 是一个基于智能体的系统,旨在自动化用户在电脑上的操作,当前主要聚焦于浏览器内的自动化。该系统构建在 AG2 智能体框架(原 AutoGen)之上,提供通过自然语言与网页浏览器交互的方式。

主要能力包括:使用用户信息或来自其他网站的信息填写网页表单(暂不支持 PDF);在亚马逊等电商网站上根据畅销度或价格等条件搜索和排序商品;在网站上定位特定内容和细节(如 ESPN 的体育比分、大学页面上的联系信息);导航至并操作网页媒体,包括播放 YouTube 视频以及管理全屏、静音等播放设置;执行全面的网络搜索以收集各种主题的信息;在 JIRA 等项目管理平台上过滤问题并自动化任务管理;提供个人购物助手,根据用户需求推荐产品。

使用方式:可通过脚本快速开始。在 macOS/Linux 上,从项目根目录运行 ./install.sh,如需 Playwright 支持可加 -p 标志;在 Windows 上,在 PowerShell 中运行 .\win_install.ps1,加 -p 标志可安装 Playwright。之后在新建的 .env 和 agents_llm_config.json 中按说明设置字段。也可手动安装:使用 uv 管理 Python 虚拟环境和依赖(macOS/Linux 运行 curl -LsSf https://astral.sh/uv/install.sh | sh,Windows 运行 powershell -c "irm https://astral.sh/uv/install.ps1 | iex",或使用 pip install uv)。然后创建并激活虚拟环境、安装依赖,可选安装 Playwright 驱动,复制 .env-example 为 .env 并配置 AUTOGEN_MODEL_NAME、AUTOGEN_MODEL_API_KEY 等环境变量。运行时可使用 ./run.sh 脚本或相应命令。运行后浏览器界面会出现图标,点击打开聊天式界面输入自然语言命令,例如“open youtube and search for funny cat videos”或“find iPhone 14 on Amazon and sort by best seller”。

此外,Agent-E 提供 FastAPI 封装,可通过 HTTP 发送命令并接收流式结果。在 Linux/macOS 上运行 uvicorn ae.server.api_routes:app --reload --loop asyncio;在 Windows 上运行相同命令但不带 --reload。可发送 POST 请求执行任务,API 请求中可选包含 llm_config 对象以应用不同的配置。

配置方面,Agent-E 支持通过环境变量或基于 JSON 的配置文件进行高级 LLM 配置。环境变量包括 AUTOGEN_MODEL_NAME、AUTOGEN_MODEL_API_KEY、AUTOGEN_MODEL_BASE_URL、AUTOGEN_MODEL_API_TYPE、AUTOGEN_MODEL_API_VERSION、AUTOGEN_LLM_TEMPERATURE、AUTOGEN_LLM_TOP_P、BROWSER_STORAGE_DIR、SAVE_CHAT_LOGS_TO_FILE、LOG_MESSAGES_FORMAT、ADDITIONAL_SKILL_DIRS、PLANNER_USER_INPUT_SKILL_ENABLED 等。若未设置 temperature、top_p 或 seed,对 gpt-* 模型默认使用 temperature 0.0、top_p 0.001、seed 12345;对其他模型默认使用 temperature 0.1、top_p 0.1。

Agent-E 还支持通过 LiteLLM 和 Ollama 使用开源模型,可在本地运行语言模型。步骤包括:安装 LiteLLM(pip install 'litellm[proxy]')、安装 Ollama、拉取 Ollama 模型、运行 LiteLLM 代理,然后在 AutoGen 中配置模型(修改 .env 文件,无需模型名称或 API 密钥)。不过官方说明指出,使用本地 LLM 运行 Agent-E 虽可行但尚未经过充分测试,需谨慎使用。

架构上,Agent-E 利用技能与智能体之间的相互作用。每个技能代表一个原子动作,执行后返回其结果的 自然语言描述。这种粒度使 Agent-E 能灵活组合这些技能来处理复杂的网页自动化工作流。

适用场景包括:网页表单填写、电商商品搜索与排序、网站信息查找、网络媒体操作、网络搜索、项目管理平台任务管理、个人购物协助等。限制方面:目前聚焦于浏览器内自动化,表单填写暂不支持 PDF;本地 LLM 支持未经过充分测试;使用本地 Chrome 浏览器需设置 BROWSER_STORAGE_DIR;macOS 上可能遇到 BlockingIOError 需使用 -u 标志解决。部分细节如收费、价格等暂未提供。