SuperAPI AI 工具集

atla-mcp-server

Atla MCP Server 是一个 MCP(Model Context Protocol)服务器实现,为 LLM 提供标准化接口以调用 Atla API,用于最先进的 LLM 评估。该仓库已于 2025 年 7 月 21 日归档,Atla API 已不再活跃。它提供两个工具:evaluate_llm_response 用于根据给定评估标准评估 LLM 对提示的响应,返回包含评分和文本批评的字典;evaluate_llm_response_on_multiple_criteria 用于跨多个评估标准评估 LLM 响应,返回包含每个标准评分和批评的字典列表。使用需要 Atla API 密钥,推荐使用 uv 管理 Python 环境,可通过 uvx 手动运行服务器,并支持连接 OpenAI Agents SDK、Claude Desktop、Cursor 等客户端。项目采用 MIT 许可证。

访问官网

工具介绍

Atla MCP Server 是一个 MCP 服务器实现,旨在为 LLM 提供标准化接口,使其能够与 Atla API 交互,从而进行最先进的 LLM 评估。该仓库已于 2025 年 7 月 21 日归档,且 Atla API 已不再活跃。

用途: 该服务器主要用于 LLM 评估场景,允许 AI 代理通过标准化协议调用 Atla 的评估模型,对 LLM 生成的响应进行评分和批评。

主要能力: 提供两个可用工具:

  1. evaluate_llm_response:根据给定的评估标准评估 LLM 对提示的响应。该函数底层使用 Atla 评估模型,返回一个字典,包含模型响应的评分以及包含对模型响应反馈的文本批评。
  2. evaluate_llm_response_on_multiple_criteria:跨多个评估标准评估 LLM 对提示的响应。该函数底层使用 Atla 评估模型,返回一个字典列表,每个字典包含给定标准的评估评分和批评。

使用方式: 要使用该 MCP 服务器,需要拥有 Atla API 密钥。可以在指定位置查找现有 API 密钥或创建新密钥。推荐使用 uv 管理 Python 环境。安装 uv 并获取 Atla API 密钥后,可以使用 uvx(由 uv 提供)手动运行 MCP 服务器。

连接方式: 支持多种客户端连接。对于 OpenAI Agents SDK,需安装 SDK 并使用其连接服务器,更多细节参考官方文档。对于 Claude Desktop,需在 claude_desktop_config.json 文件中添加配置,重启后即可在可用 MCP 工具列表中看到 atla-mcp-server 选项。对于 Cursor,需在 .cursor/mcp.json 文件中添加配置,之后即可在可用 MCP 服务器列表中看到 atla-mcp-server。

适用场景: 适用于需要对 LLM 响应进行自动化评估的开发者和研究人员,特别是在使用支持 MCP 的客户端(如 Claude Desktop、Cursor)或 OpenAI Agents SDK 时。

限制: 该仓库已归档,Atla API 已不再活跃,因此可能无法继续使用。使用需要 Atla API 密钥,且依赖 uv 环境。项目采用 MIT 许可证。