Taxy AI 是一款浏览器扩展,旨在通过 GPT-4 等大语言模型实现浏览器自动化,帮助用户完成重复性操作。其核心用途是让用户以自然语言定义临时指令,由 AI 代理在网页上执行点击、输入等动作。
主要能力:
- 使用 GPT-4 或 GPT-3.5 控制浏览器,执行用户定义的临时指令。
- 支持两种交互方式:click(id) 点击交互元素,setValue(id, text) 在文本输入框中输入文本。
- 通过内容脚本提取网页 DOM,简化并模板化 HTML,仅保留交互或语义重要的元素,并分配 id,以减少 token 消耗。
- 将简化后的 DOM 和用户指令发送给所选 LLM,解析返回的动作并执行。
- 动作循环最多执行 50 个动作,通常任务少于 10 个动作。
- 提供弹出窗口和开发者工具面板两种使用形式。
- 完全开源,不向自有服务器发送页面内容或指令,API 密钥存储在浏览器本地。
使用方式: 目前仅能通过 GitHub 仓库获取,需本地构建安装。步骤:确保 Node.js >= 16;克隆仓库;运行 yarn 安装依赖;运行 yarn start 构建;在 Chrome 中加载解压的扩展(chrome://extensions/,开启开发者模式,点击“加载已解压的扩展程序”,选择构建文件夹)。安装后,可通过快捷键 cmd+shift+y(Mac)或 ctrl+shift+y(Windows/Linux)打开弹出窗口,或在开发者工具中打开 Taxy AI 面板。需提供 OpenAI API 密钥并粘贴到指定框内。然后导航到目标网页(如 OpenAI playground)开始实验。
适用场景:
- 在 GitHub 中保护主分支。
- 在 Netflix 中搜索并播放电影《遗落战境》。
- 创建日历事件(例如“明天上午10点安排站会,邀请 david@taxy.ai”)。
- 在 OpenAI playground 中撰写文章。
- 其他重复性浏览器操作。
限制:
- 当前状态为研究预览,许多工作流会失败或使代理困惑。
- 仅支持 Chrome 浏览器,需手动构建安装,尚未上架 Chrome 应用商店。
- 需要用户自备 OpenAI API 密钥。
- 单任务最多执行 50 个动作。
- 未来计划支持保存和定时工作流,但暂未提供。
- 安全优先架构会在意外响应时自动停止执行。
技术栈:Chrome Extension Manifest V3、Webpack Dev Server 4、React Hot Loader、eslint-config-react-app。