Atla MCP Server 是一个 MCP 服务器实现,旨在为 LLM 提供标准化接口,使其能够与 Atla API 交互,从而进行最先进的 LLM 评估。该仓库已于 2025 年 7 月 21 日归档,且 Atla API 已不再活跃。
用途: 该服务器主要用于 LLM 评估场景,允许 AI 代理通过标准化协议调用 Atla 的评估模型,对 LLM 生成的响应进行评分和批评。
主要能力: 提供两个可用工具:
- evaluate_llm_response:根据给定的评估标准评估 LLM 对提示的响应。该函数底层使用 Atla 评估模型,返回一个字典,包含模型响应的评分以及包含对模型响应反馈的文本批评。
- evaluate_llm_response_on_multiple_criteria:跨多个评估标准评估 LLM 对提示的响应。该函数底层使用 Atla 评估模型,返回一个字典列表,每个字典包含给定标准的评估评分和批评。
使用方式: 要使用该 MCP 服务器,需要拥有 Atla API 密钥。可以在指定位置查找现有 API 密钥或创建新密钥。推荐使用 uv 管理 Python 环境。安装 uv 并获取 Atla API 密钥后,可以使用 uvx(由 uv 提供)手动运行 MCP 服务器。
连接方式: 支持多种客户端连接。对于 OpenAI Agents SDK,需安装 SDK 并使用其连接服务器,更多细节参考官方文档。对于 Claude Desktop,需在 claude_desktop_config.json 文件中添加配置,重启后即可在可用 MCP 工具列表中看到 atla-mcp-server 选项。对于 Cursor,需在 .cursor/mcp.json 文件中添加配置,之后即可在可用 MCP 服务器列表中看到 atla-mcp-server。
适用场景: 适用于需要对 LLM 响应进行自动化评估的开发者和研究人员,特别是在使用支持 MCP 的客户端(如 Claude Desktop、Cursor)或 OpenAI Agents SDK 时。
限制: 该仓库已归档,Atla API 已不再活跃,因此可能无法继续使用。使用需要 Atla API 密钥,且依赖 uv 环境。项目采用 MIT 许可证。