ChatGLM-webui 是为 THUDM 开发的 ChatGLM-6B 模型提供的一个网页界面(WebUI)项目,发布于 GitHub。它的目标是在原版 ChatGLM-6B 类似 demo 的基础上,改用 Gradio Chatbox 呈现,从而带来更好的用户体验。
主要能力与特色:
- 使用 Gradio Chatbox 构建聊天界面,交互体验比原版 demo 更好。
- 提供一键安装脚本,但依然需要用户预先安装 Python。
- 相比原版提供更多可自由调整的参数。
- 支持方便地保存和加载对话历史以及预设。
- 支持自定义最大上下文长度。
- 支持将对话内容保存为 Markdown 文件。
使用方式(通过程序参数):
- --model-path:指定模型路径。若未手动指定,默认值为 THUDM/chatglm-6b,Transformers 会自动从 Hugging Face 下载模型。
- --listen:以 0.0.0.0 作为服务名启动 Gradio,允许响应网络请求。
- --port:指定 WebUI 端口。
- --share:使用 Gradio 的分享功能。
- --precision:可选 fp32(仅 CPU)、fp16、int4(仅 CUDA GPU)、int8(仅 CUDA GPU)。
- --cpu:使用 CPU 运行。
- --path-prefix:URL 根路径。若未手动指定,默认值为 /。使用 /foo/bar 作为路径前缀后,ChatGLM-webui 将从 http://$ip:$port/foo/bar/ 提供服务,而非 http://$ip:$port/。
适用场景: 该项目适用于希望在本地或服务器上为 ChatGLM-6B 模型搭建可交互网页聊天界面的用户,提供对话历史管理、参数调节和 Markdown 导出等便利功能。
限制: 一键安装脚本仍需预先安装 Python;int4 和 int8 精度仅支持 CUDA GPU,fp32 仅支持 CPU。其余未在资料中提及的功能、收费情况、具体安装步骤细节等暂未提供。