SuperAPI AI 工具集

multi-llm

智能体与模型

查看项目

更新于 10-16 08:28

技能介绍

Multi-LLM 是一个智能模型切换技能,旨在根据任务类型自动选择合适的本地大语言模型。其核心机制是:默认情况下始终使用 Claude Opus 4.5(最强模型),仅当用户消息中包含“multi llm”命令时,才会激活本地模型选择逻辑。

主要能力

  • 智能任务检测:当消息包含“multi llm”时,系统会分析任务类型,自动选择对应的本地模型。
  • 模型映射:
    • 编码任务:qwen2.5-coder:32b(19GB),适用于代码生成、调试、重构。
    • 推理任务:deepseek-r1:70b(42GB),适用于数学、逻辑、复杂分析。
    • 中文任务:glm4:9b(5.5GB),适用于翻译、摘要、快速任务。
    • 通用任务:qwen3:32b(20GB),通用目的,作为回退。
  • 强制命令:支持 multi llm coding、multi llm reasoning、multi llm chinese、multi llm general 强制指定模型类别。
  • 回退链:如果所选模型不可用,系统会尝试替代模型:
    • 编码:qwen2.5-coder:32b -> qwen2.5-coder:14b -> qwen3:32b
    • 推理:deepseek-r1:70b -> deepseek-r1:32b -> qwen3:32b
    • 中文:glm4:9b -> qwen3:8b -> qwen3:32b
    • 通用:qwen3:32b -> qwen3:14b -> qwen3:8b
  • 任务检测关键词:支持中英文关键词,例如编码类包括 code、debug、function、代码、编程、函数、调试、重构等;推理类包括 analysis、proof、logic、math、推理、分析、证明、逻辑、数学等;中文类包括 translate、summary、翻译、总结、摘要、简单、快速等。

使用方式

  • 默认模式:直接发送请求,不包含“multi llm”,则使用 Claude Opus 4.5。例如:“Help me write a Python function” -> 使用 Claude Opus 4.5。
  • 多模型模式:在请求前加上“multi llm”。例如:
    • multi llm Help me write a Python function -> 选择 qwen2.5-coder:32b
    • multi llm Analyze this math proof -> 选择 deepseek-r1:70b
    • multi llm Translate to Chinese -> 选择 glm4:9b
  • 强制命令:multi llm coding、multi llm reasoning、multi llm chinese、multi llm general。
  • 编程调用:可通过脚本使用,例如 ./scripts/select-model.sh "multi llm write a sorting algorithm" 输出推荐模型;./scripts/fallback-demo.sh --force-local "explain recursion" 进行演示。

适用场景

  • 需要根据任务类型自动切换本地模型的开发环境。
  • 希望在不改变默认使用 Claude Opus 4.5 的前提下,对特定任务使用本地模型以节省成本或满足隐私需求。
  • 集成于 OpenCode/ClaudeCode 等工具中,通过消息前缀触发。

限制与前提

  • 需要安装并运行 Ollama。安装命令:curl -fsSL https://ollama.com/install.sh | sh;启动服务:ollama serve。
  • 需要拉取所需模型:ollama pull qwen2.5-coder:32b、ollama pull deepseek-r1:70b、ollama pull glm4:9b、ollama pull qwen3:32b。
  • 大型模型(如 70b)需要大量 RAM/VRAM,响应可能较慢,可考虑使用较小变体。
  • 若模型未找到,可使用 ollama list 检查并拉取缺失模型;若 Ollama 未运行,可检查服务状态或启动服务。
  • 若模型选择错误,可使用强制命令或检查关键词是否匹配任务类型。

文件结构

技能包含 SKILL.md 文档和 scripts 目录下的 select-model.sh(模型选择逻辑)与 fallback-demo.sh(交互式演示脚本)。

版本更新

v1.1.0 将触发命令从“mlti llm”重命名为“multi llm”,增强了模型存在性检查与回退链,添加了详细使用示例和故障排除,改进了任务检测模式。

作者:GitHub @leohan123123,许可证:MIT。