SuperAPI AI 工具集

mcp-turboquant

mcp-turboquant 是一个面向大语言模型量化的 MCP 服务器,可让用户在一次工具调用中把任意 HuggingFace 模型压缩为 GGUF、GPTQ 或 AWQ 格式。它自称是首个用于模型压缩的 MCP 服务器,所有量化逻辑内嵌运行,无需外部 CLI 工具即可完成量化,并提供模型信息查询、后端检查、量化格式推荐、量化质量(困惑度)评估以及推送到 Hugging Face Hub 等能力。

访问官网

工具介绍

mcp-turboquant 是一个自包含的 Python MCP 服务器,用于大语言模型(LLM)量化。其核心目标是通过 MCP 工具调用,把任意 HuggingFace 模型压缩为 GGUF、GPTQ 或 AWQ 格式。项目说明称,它是首个用于模型压缩的 MCP 服务器,且所有量化逻辑都嵌入在进程内运行,不需要外部 CLI 工具。

主要能力方面,用户可以在一次工具调用中完成模型量化压缩。服务器提供信息查询、检查、推荐等工具,可开箱即用;实际执行量化时,需要安装对应的后端。它还支持对量化后的模型进行质量评估,例如计算困惑度(perplexity),并支持把量化模型推送到 Hugging Face Hub。

使用方式上,可通过 uvx 直接运行,也支持配置到 Claude 环境中。项目给出的配置示例包括添加到 ~/.claude/settings.json,或使用 uvx 免安装方式运行,以及添加到 claude_desktop_config.json。配置完成后,可以向 Claude 发出自然语言指令,例如获取某模型的信息、询问在特定机器上应使用哪种量化格式、把指定模型量化为 4-bit GGUF、检查本机已安装哪些量化后端、评估某个量化模型文件的困惑度,或把量化模型推送到指定 HuggingFace 仓库。

适用场景主要是需要借助 MCP 与 AI 助手协作完成 LLM 量化流程的开发者和研究者,包括格式选择建议、批量或单次量化、质量评估与模型发布。限制方面,项目说明指出 info、check 和 recommend 工具可直接使用,但实际量化需安装所需后端;其余具体功能边界、支持模型范围、性能表现、平台兼容性与收费信息暂未提供。