SuperAPI AI 工具集

ChatGLM-webui

ChatGLM-webui 是一个为 ChatGLM-6B 模型提供网页界面的开源项目。它由 Akegarasu 开发,使用 Gradio Chatbox 构建聊天界面,相比原版 demo 提供了更好的用户体验。项目提供一键安装脚本(仍需自行安装 Python),支持调整更多参数、方便地保存和加载对话历史与预设,并可自定义最大上下文长度,还支持将对话保存为 Markdown 文件。启动时可通过命令行参数指定模型路径、监听地址、端口、分享方式、计算精度以及是否使用 CPU 等。

访问官网

工具介绍

ChatGLM-webui 是为 THUDM 开发的 ChatGLM-6B 模型提供的一个网页界面(WebUI)项目,发布于 GitHub。它的目标是在原版 ChatGLM-6B 类似 demo 的基础上,改用 Gradio Chatbox 呈现,从而带来更好的用户体验。

主要能力与特色:

  • 使用 Gradio Chatbox 构建聊天界面,交互体验比原版 demo 更好。
  • 提供一键安装脚本,但依然需要用户预先安装 Python。
  • 相比原版提供更多可自由调整的参数。
  • 支持方便地保存和加载对话历史以及预设。
  • 支持自定义最大上下文长度。
  • 支持将对话内容保存为 Markdown 文件。

使用方式(通过程序参数):

  • --model-path:指定模型路径。若未手动指定,默认值为 THUDM/chatglm-6b,Transformers 会自动从 Hugging Face 下载模型。
  • --listen:以 0.0.0.0 作为服务名启动 Gradio,允许响应网络请求。
  • --port:指定 WebUI 端口。
  • --share:使用 Gradio 的分享功能。
  • --precision:可选 fp32(仅 CPU)、fp16、int4(仅 CUDA GPU)、int8(仅 CUDA GPU)。
  • --cpu:使用 CPU 运行。
  • --path-prefix:URL 根路径。若未手动指定,默认值为 /。使用 /foo/bar 作为路径前缀后,ChatGLM-webui 将从 http://$ip:$port/foo/bar/ 提供服务,而非 http://$ip:$port/。

适用场景: 该项目适用于希望在本地或服务器上为 ChatGLM-6B 模型搭建可交互网页聊天界面的用户,提供对话历史管理、参数调节和 Markdown 导出等便利功能。

限制: 一键安装脚本仍需预先安装 Python;int4 和 int8 精度仅支持 CUDA GPU,fp32 仅支持 CPU。其余未在资料中提及的功能、收费情况、具体安装步骤细节等暂未提供。