CRAB（Cross-environment Agent Benchmark for Multimodal Language Model Agents）旨在成为一个面向多模态语言模型（MLM）智能体的通用基准测试框架。它提供端到端且易用的框架，用于构建智能体、操作环境并创建基准来评估它们，包含三个关键组成部分：跨环境支持、图评估器和任务生成。
用途 CRAB 用于评估多模态语言模型智能体在跨环境任务中的表现，支持构建智能体、操作环境以及创建基准测试。
主要能力
- 跨环境支持：CRAB 支持多个环境，确保智能体能够在不同界面间无缝适应并表现出色。
- 图评估器：提供细粒度评估，超越二值成功率，对智能体性能进行详细分析，突出优势并指出改进空间。
- 任务生成：CRAB 使用基于图的方法自动创建任务。通过将多个子任务组合成复杂任务，CRAB 生成贴近真实场景的动态任务，节省手动创建任务的时间和精力。
- 易用性：所有智能体操作（动作）、观察和基准评估器均由 Python 函数定义。因此，向 CRAB 添加新环境仅需几行 Python 代码。基准配置遵循声明式编程范式，使得复现任何实验环境都非常容易。
CRAB Benchmark-v0 基于 CRAB 框架开发的 CRAB Benchmark-v0 包含2个环境（Ubuntu 和 Android）下的120个任务，并使用6种不同多模态语言模型在3种不同通信设置下进行测试。结果基于2024年10月18日发布的 CRAB Benchmark v0，共120个任务。
示例任务
- 在 Ubuntu 中打开“Slack”，导航到“multi-modal-benchmark”频道，总结最后两条消息，然后在 Android 手机中使用“Messages”应用将其发送给列表中的第一个联系人。设置：OpenAI GPT-4o + 按功能多智能体。
- 在 Android 上打开“Tasks”应用，查看第一个未完成任务，然后根据其描述执行任务。
- 在 Android 上打开“Calendar”应用，总结今天所有日程。然后，在 Ubuntu 中，使用终端和 Vim 在“/home/crab/assets/plan.md”创建一个 Markdown 文件，每个事件作为复选框项目符号。设置：OpenAI GPT-4o + 单智能体。
- 请在我的手机上打开 X 应用，搜索 CAMEL-AI.org，查看最新帖子，总结它们，然后从我的 PC 通过 Slack 将总结发送给 Tianqi Xu。
演示视频经过编辑以获得更好的观看体验。实际执行中，每一步之间有数十秒的等待时间。
框架对比 将 CRAB 与现有 GUI 智能体和基准进行比较。各框架的关键特性包括：
- 交互环境：表示存在交互环境或静态数据集。
- 多模态观察：指定是否提供基于视觉的观察（例如截图）。
- 跨平台：表示支持多个操作系统或平台。
- 评估：评估指标分类为：基于目标：仅根据最终目标检查环境状态。基于轨迹：将智能体动作轨迹与黄金动作序列进行比较。多种：因任务而异。基于图：以每个节点作为中间检查点的有向无环图。
- 任务构建：任务构建方法包括：手工制作：由人工手工制作。LLM启发：使用 LLM 生成任务草稿但仍由人工验证和标注。模板：通过填充任务模板中的空白生成。子任务组合：组合多个子任务以构建任务和评估器。
实验结果
- 模型间表现差异：GPT-4o 总体成功率和完成率最高。Gemini 1.5 Pro 和 Claude 3 Opus 表现更吃力，几乎无法完成任务。考虑 JSON 输出的模型，GPT-4o 的性能相比启用函数调用的版本有所下降，主要由于其较高的无效动作率。在开源模型中，参数远少的 Pixtral-12B 相比 LLaVA-ov-72B 实现了更好的 CR，展示了其效率。尽管开源模型通常能理解截图并正确生成逐步计划，但往往无法根据计划执行正确的动作。
- 完成率反映真实智能体能力：由图评估器计算的完成率（CR）提供了性能的详细视图。即使 GPT-4o 在单智能体结构和按环境多智能体结构下具有相同的成功率，其完成率差异高达4.67%。
- 终止原因指示改进方向：所有模型中较高的达到步数限制（RSL）百分比表明智能体经常耗尽步数而无法实现最终目标。Gemini 1.5 Pro 的无效动作（IA）率较高，凸显了生成符合正确格式的动作的问题。多智能体设置中的虚假完成（FC）率高于单智能体设置，表明多个智能体通信过程中发生消息丢失。
