Alumnium 是一套用于 Web 和移动应用自然语言端到端测试的库与工具集合,目标是让 AI 智能体与工程师能够用人类可读的语言描述测试意图,而由 Alumnium 负责底层的 UI 交互细节。
主要组成 Alumnium 包含以下几个部分:
- MCP 服务器,用于智能体测试;
- Java、Python、TypeScript 客户端库,用于编写测试;
- 测试运行器,用于在本地或 CI 中执行 Markdown 场景;
- 服务器,用于集中处理模型通信与缓存。
使用方式 有两种主要接入路径:
- 通过 MCP 连接兼容 MCP 的编码智能体。先使用安装脚本或包管理器安装 Alumnium 二进制,再选择受支持的 AI 提供商并在需要时配置凭据,然后连接 Alumnium 到 MCP 兼容的编码智能体。之后用自然语言描述用户流程和预期结果,由编码智能体通过 Alumnium 驱动并验证应用;还可以让智能体把成功场景保存为 Markdown,再在本地或 CI 中用 Alumnium 测试运行器重复执行。
- 在已有测试套件中使用客户端库。初始化 Alumnium 时传入现有的 Selenium、Playwright 或 Appium 驱动,然后在框架代码旁添加自然语言动作、检查和数据获取,逐步引入 AI,而不必替换现有测试栈。
支持的框架与平台
- Web 自动化:Selenium 或 Playwright。
- iOS 和 Android 移动测试:Appium 或 WebdriverIO;通过 MCP 服务器还可使用 Maestro。
- 客户端库支持 Java、Python、TypeScript。
- Alumnium 以单文件二进制分发,体积约 100 MB,支持 macOS、Windows、Linux。
- Alumnium Server 支持通过 HTTP API 以编程方式控制。
模型支持 Alumnium 设计上也面向更小、成本更低的模型。可选择 Anthropic、OpenAI、Google、xAI、Meta、DeepSeek、Mistral 等提供商的受支持托管模型,也可通过 Ollama 运行受支持的本地模型。更换模型不需要改变测试意图,底层仍可使用 Selenium、Playwright、Appium 或 Maestro。对于需要把应用数据保留在自有基础设施内的场景,可通过 Ollama 运行本地模型。
核心能力 Alumnium 提供一组高层测试工具:根据自然语言目标规划动作并在应用中执行;检查应用是否处于预期状态并解释结果;从应用中获取请求的数据或状态;等待应用达到自然语言描述的条件;在动作后总结 UI 变化;在检查或获取需要视觉信息时使用截图;根据自然语言描述查找元素;聚焦页面特定区域以实现更精确的交互。
在底层,Alumnium 主要使用基于文本的表示来理解应用结构和状态,仅在任务需要视觉信息时加入视觉能力。它把平台的无障碍树转换为聚焦的 XML,向模型提供结构化上下文。它支持标签页导航、框架页面、Shadow DOM、文件上传、持久化配置文件等浏览器工作流,以及自动等待与重试、截图和视频、执行 JavaScript、历史导航、滑块操作、无头浏览器、Cookie 赋值、浏览器权限、Playwright trace、自定义 HTTP 头、自定义 User-Agent 等能力;具体支持程度因自动化框架和平台而异,需查阅文档中的支持矩阵。
缓存与性能 Alumnium 采用多级缓存:缓存模型响应和元素决策,以减少后续测试运行中重复的大模型请求。元素缓存可在动态标识符或轻微 UI 变化时继续生效,较大变化仍可能触发新的模型请求。其提示词结构也考虑了提供商侧缓存。官方称在 WebVoyager 浏览器智能体基准测试中,Claude Code 配合 Alumnium MCP 在 610 项任务中达到 98.5% 的通过率。
Markdown 测试运行器与扩展能力 Alumnium 包含一个预览版测试运行器,用于可重复执行 Markdown 场景:可手动编写或由编码智能体配合 Alumnium MCP 生成场景,在仓库中审查并保存,然后运行 alumnium test <filename>.md。运行器会记录工具调用以供复用;在缓存已预热且流程未变的情况下,重放可能无需新的大模型请求。缓存步骤不再匹配 UI 时,Alumnium 会先重新解析再报告失败。高层 Markdown 场景可复用于已配置的 Web、iOS 和 Android 会话。运行器可使用原生智能体 SDK,目前支持 Claude Agent SDK。
规模化与集成 Alumnium Server 以单文件二进制形式运行在用户基础设施上,为多个智能体和测试运行器处理模型请求、缓存和测试执行。缓存可存储在本地文件系统或远程(预览),让团队成员和 CI 任务不必各自重复相同的模型请求。测试运行器支持单机并行执行,也可配置为跨多台机器分片运行大型测试套件。Alumnium 可连接 Selenium Grid、Sauce Labs、TestMu 等提供真实设备和浏览器的云服务。启用跟踪后,可向任何兼容 OpenTelemetry 的采集器导出遥测数据。
项目特征与许可 Alumnium 基于 MIT 许可开源,允许个人和商业使用,开发、问题和拉取请求都在公开环境进行。团队成员曾领导 Selenium 和 date-fns 等开源项目。用户可通过 Discord 社区提问、反馈或讨论贡献。
适用场景
- 希望用自然语言表达测试意图、减少选择器和显式等待维护的端到端测试。
- 已有 Selenium、Playwright、Appium 测试栈,希望逐步引入 AI 而不替换现有框架。
- 需要让编码智能体驱动和验证 Web 或移动应用的智能体化测试工作流。
- 需要在 Web、iOS 和 Android 之间复用高层测试指令。
限制与注意事项 Alumnium 会自行向模型提供商发起请求,因此通常需要所选提供商的有效 API key 或其他凭据;本地 Ollama 模型则不需要。Markdown 测试运行器和远程缓存目前为预览版。各自动化框架和平台的具体能力存在差异,需要参考官方文档中的支持矩阵。以上内容未涉及具体收费与价格信息,相关资料暂未提供。