SuperAPI AI 工具集
合作ENAI 行业资讯收藏
全部工具AI智能体AgentBoard

AgentBoard

AgentBoard 是一个面向多轮 LLM 智能体（LLM Agents）的分析型评估平台，论文被 NeurIPS 2024 接收为 Oral，并曾被 LLMAgents @ ICLR 2024 接收。平台强调对作为通用智能体的大语言模型进行「分析型评估」，围绕四条原则构建基准：任务多样性、多轮交互、部分可观测环境以及分析型评估。它提供 9 个不同任务，覆盖具身 AI、游戏、Web 和工具四类场景，用于综合考察 LLM 智能体在感知与行动方面的通用能力。AgentBoard 支持智能体与环境进行多轮交互，且环境状态并非完全可见，智能体需要通过在线探索获取额外知识，从而评估其世界建模能力。平台附带友好的脚本，可为多种模型构建目标导向的反射式智能体，并提供可视化面板，从细粒度进度率、落地准确率、难易样本表现拆分、长程交互、各子技能表现以及带可视化的轨迹等多个维度展示和解读评估结果。内置 Weights & Biases 可视化，支持在线与离线查看结果，并支持 GPT-4、GPT-3.5-Turbo、DeepSeek-67B 等 12 个 SOTA LLM 模型配置，以及基于 vLLM 的开源模型加速推理。

访问官网

工具介绍

用途

AgentBoard 是一个用于评估多轮 LLM 智能体的分析型评估平台，旨在系统性地考察大语言模型作为通用智能体在各种环境中感知与行动的能力。该工作被 NeurIPS 2024 接收为 Oral，并曾被 LLMAgents @ ICLR 2024 接收。

主要能力

AgentBoard 基于以下四条原则构建评估基准：

  • 任务多样性：包含 9 个不同任务，用于全面理解 LLM 智能体的通用能力，这些能力建立在大语言模型广泛的知识库和出色的场景理解之上。
  • 多轮交互：提供智能体与环境之间的多轮交互，以反映人类智能不断接收信息并适应环境的演化特性。
  • 部分可观测环境：智能体无法获得环境的完整状态，需要通过网络在线探索获取额外知识，从而评估智能体的世界建模能力。
  • 分析型评估：平台包含一个用户友好的脚本，可为一系列模型构建目标导向的反射式智能体；并提供一个面板，从多个维度可视化和解读智能体能力，包括细粒度进度率、落地准确率、难易样本表现拆分、长程交互、各子技能表现，以及带友好可视化的轨迹。

平台集成了 Weights & Biases 可视化，帮助研究者系统分析 LLM 智能体，可通过参数开启。可视化结果会离线存储在 wandb 目录，也可在线查看或通过 wandb sync 同步。本地日志自动存储于指定 log_path；在 WebArena 中还额外支持更详细的轨迹文件，包括网页截图和网络流量记录。

AgentBoard 组成 9 个多样任务，分为具身 AI、游戏、Web 和工具四类。提供 Huggingface Dataset Viewer，但完整数据需通过下载链接获取。另外还提供基线运行日志（data/baseline_results），可用于面板可视化。

目前已支持 12 个 SOTA LLM 模型配置：gpt-4、gpt-3.5-turbo-0613、text-davinci-003、claude2、deepseek-67b、lemur-70b、mistral-7b、codellama-13b(34b)、llama2-13b(70b)、vicuna-13b-16k，以及基于 act-only 提示的简单反射式智能体。vLLM 支持的模型通常也可在 AgentBoard 中使用，但不同模型可能需要特定提示模板。

使用方式

快速开始提供 30 分钟内评估 LLM 智能体的指南，支持本地安装（推荐）与 Docker 安装。

本地安装步骤：

  1. 创建 conda 环境
  2. git clone 该仓库
  3. 从 huggingface 下载数据
  4. 为除 WebArena 外的任务设置环境
  5. 为 WebArena 设置环境（如果已配置，可直接安装 webarena 环境；否则跳至步骤 6 或使用 Docker 安装）
  6. （附加）安装 dubs 和 Xvfb

Docker 安装（CentOS）：

  1. 拉取 docker 镜像并在本地运行
  2. 激活环境
  3. 下载代码和数据
  4. 构建搜索引擎索引（用于 WebShop）
  5. 启动 web 服务（用于 WebArena）

环境变量配置：在 AgentBoard/.env 中设置。包括工具任务的 API key（因私有性需按指南自行获取）、用于在线可视化的 WANDB_API_KEY，以及专有模型的 API key（如 OpenAI、Anthropic，仅需配置实际使用的模型）。

评估专有模型示例脚本：使用 --cfg-path 指定配置文件（参考 eval_configs/main_results_all_tasks.yaml），--tasks 指定任务（如 tool-query、tool-operation、webarena、alfworld、babyai、jericho、pddl、scienceworld），--model 指定模型（如 gpt-3.5-turbo、gpt-3.5-turbo-16k、gpt-4、text-davinci-003、claude2）。可通过 --wandb 开启在线可视化，log_path 指定日志路径，project_name 指定 W&B 项目名，baseline_dir 指定基线结果目录。

对于 webshop 任务，需先启动 WebShop 服务器，再运行评估命令。对于开源模型，平台预支持 8 个模型，默认使用 vLLM 加速推理，可参考 eval_configs/main_results_all_tasks.yaml 进行配置。还支持 LLM 定制和智能体定制，详见 llm_customization.md 与 agent_customization.md。

网络上受限时，评估 Tool-Query、Tool-Operation 和 WebArena 任务需确保机器可访问互联网。

适用场景

适用于研究者和开发者评估和比较 LLM 在多种交互式环境下的通用智能体能力，包括具身 AI、游戏、Web 和工具使用等场景，并进行多维度的系统性分析。

限制

评估运行时间取决于设备/API、模型和推理架构。开源 LLM 下 vllm 推理速度约为 huggingface pipeline 的 10 倍。总时间估算公式约为 4h * speed，LLM 推理总轮数在 15000 轮以内。工具任务的 API key 为私有，仓库中不提供，需按指南获取。数据需从下载链接获取，Dataset Viewer 中的不完整。不同模型可能需要特定提示模板。其余收费、价格、具体平台效果等信息暂未提供。

代码库采用 Apache-2.0 许可证，数据集采用 GNU General Public License, version 2。

同类工具

查看分类