llm-advisor-mcp 是一个开源的模型上下文协议(MCP)服务器,旨在为 AI 助手提供实时的 LLM 和 VLM(视觉语言模型)知识,包括定价、基准测试和推荐。该工具每小时更新数据,确保 AI 助手能够获取最新的模型信息,而不受训练数据知识截止的限制。
用途
大语言模型(LLM)通常具有知识截止点,无法回答关于最新模型性能的问题。例如,当用户询问 Claude "当前最佳编程模型是什么?" 时,Claude 可能无法基于最新数据给出答案。llm-advisor-mcp 通过将实时的模型情报直接注入 AI 助手的上下文窗口来解决这一问题。它适用于需要最新模型比较、价格和基准测试信息的场景。
主要能力
- 零配置:无需 API 密钥,无需注册,一条命令即可安装。
- 低 Token 消耗:输出紧凑的 Markdown 表格(约 300 个 token),而非原始 JSON(约 3,000 个 token),有助于节省上下文窗口。
- 五个基准测试来源:整合了 SWE-bench、LM Arena Elo、OpenCompass VLM、Aider Polyglot 和 OpenRouter 定价,提供统一视图。
- 四个核心工具:
list_top_models:列出顶级模型,可按类别(如 coding)筛选。compare_models:比较多个模型,生成并排表格。recommend_model:根据预算等约束条件推荐模型。get_model_info:获取特定模型的详细信息,包括定价、基准测试、百分位排名、能力和 API 代码示例。
使用方式
安装和配置简单。对于 Claude Code(Windows)或 Claude Desktop / Cursor / Windsurf 等客户端,只需将服务器添加到 MCP 配置文件中即可。无需 API 密钥或 .env 文件。服务器通过 stdio(JSON-RPC)与 MCP 客户端通信。
示例查询
- "当前最佳编程模型是什么?" — 使用
list_top_models,类别为 coding。 - "比较 Claude、GPT 和 Gemini" — 使用
compare_models,生成并排表格。 - "找一个便宜的具有 1M 上下文的模型" — 使用
recommend_model,带预算约束。 - "模型 X 有哪些基准测试?" — 使用
get_model_info,获取百分位排名。
模型信息示例
get_model_info 提供的详细信息包括:定价(输入/输出每百万 token 价格)、上下文长度、发布日期、基准测试分数(如 SWE-bench、Aider、Arena Elo)、优势(如推理、工具、视觉)以及一个可直接使用的 API 代码示例。
模型比较示例
compare_models 可以同时比较三个模型,输出推荐评分和关键指标。例如:
- anthropic/claude-sonnet-4:输入 $3.00/1M,输出 $15.00/1M,上下文 200K,发布日期 2025-06-25,SWE-bench 76.8%,Aider 72.1%,Arena 1467,优势:推理、工具、视觉,评分 78。
- google/gemini-2.5-flash:输入 $0.15/1M,输出 $0.60/1M,上下文 1M,发布日期 2025-05-20,SWE-bench 62.9%,Arena 1445,优势:工具、视觉、1M+ 上下文,评分 74。
- openai/o4-mini:输入 $1.10/1M,输出 $4.40/1M,上下文 200K,发布日期 2025-04-16,SWE-bench 73.6%,Arena 1430,优势:推理、工具,评分 71。
架构
服务器通过 stdio(JSON-RPC)与 MCP 客户端通信。内部包含工具层(4 个工具)、统一注册表、内存缓存、归一化器(slug 映射)、百分位计算(5 个类别)以及数据获取器(从 OpenRouter、SWE-bench、Arena/VLM/Aider 等 5 个来源获取数据)。
适用场景
- AI 助手需要实时模型推荐和比较。
- 开发者需要根据预算、上下文长度或特定能力(如编程、视觉)选择模型。
- 研究或评估不同 LLM/VLM 的性能和价格。
- 集成到支持 MCP 的客户端中,如 Claude Code、Claude Desktop、Cursor、Windsurf 等。
限制
- 该工具依赖外部数据源,数据每小时更新,但可能仍有延迟。
- 目前提供的信息基于公开数据,实际模型能力可能因使用方式而异。
- 需要客户端支持 MCP 协议。
- 开源项目,采用 MIT 许可证,由 Cognisant LLC 构建。
贡献
欢迎贡献:fork 仓库,创建功能分支,为新功能添加测试,运行 npm test 确保所有 51 个测试通过,然后提交拉取请求。