LLMHub 是一个轻量级管理平台，旨在简化各类大语言模型（LLM）的运行与交互。它提供直观的命令行界面（CLI）和 RESTful API，用于管理、启动、停止和与 LLM 交互。该平台支持以不同配置和上下文大小运行多个模型。
用途：LLMHub CLI 是一个命令行界面工具，用于管理和与各种 LLM（大语言模型）服务器进行交互。它允许你轻松高效地启动、停止、更新和管理 LLM 进程。
主要能力：
- 管理 LLM 服务器
- 启动、停止和更新 LLM 进程
- 列出可用模型及其状态
- 提供 OpenAI 兼容的 API 端点，用于补全和模型列表
- 通过 YAML 文件轻松配置
- 支持不同的引擎和量化格式
使用方式： 可以从 PyPI 直接安装 LLMHub CLI。安装后，可以使用 llmhub 命令与工具交互。示例命令包括：启动进程、更新所有进程、列出所有模型。 配置通过 YAML 文件处理。你可以将 config.yaml 文件放在 ~/.llmhub/ 目录中，或在初始化 ConfigManager 时指定自定义路径。 LLMHub CLI 还提供 OpenAI 兼容的 API 端点：
- /v1/completions：处理补全请求。
- /v1/chat/completions：处理聊天补全请求。
- /v1/models：列出可用模型。
适用场景：适合需要本地或自托管管理多个大语言模型、并通过命令行或兼容 OpenAI 的 API 进行交互的开发者和运维人员。
限制与注意事项：该仓库已弃用，当前版本使用 Node 构建。欢迎贡献，可提交 Pull Request。项目采用 MIT 许可证。如有问题，请在 GitHub 仓库中提交 issue。
