Mamba-Chat 是首个基于状态空间模型（SSM）架构而非 Transformer 的聊天语言模型。该模型建立在 Albert Gu 和 Tri Dao 的工作《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》（论文）及其模型实现之上。本仓库提供了基于 Huggingface Trainer 类修改后的模型训练/微调代码。
用途
Mamba-Chat 旨在探索非 Transformer 架构的聊天语言模型。它基于 Mamba-2.8B 模型，并在 HuggingFaceH4/ultrachat_200k 数据集的 16,000 个样本上进行了微调，可用于对话生成任务。
主要能力
- 基于状态空间模型架构的聊天语言模型。
- 提供训练和微调代码。
- 包含 CLI 聊天机器人和 Gradio 应用两种交互方式。
- 支持在特定硬件（如 24GB 显卡）上进行微调。
使用方式
- 克隆仓库并安装依赖。
- 运行 CLI 聊天机器人或 Gradio 应用与模型对话。
- 使用提供的代码在 Ultrachat 数据集子集上微调 Mamba 基础模型。
适用场景
- 研究状态空间模型在对话任务中的应用。
- 开发者尝试非 Transformer 架构的聊天模型。
- 在有限硬件资源下进行模型微调实验。
限制
- 模型基于 Mamba-2.8B，规模较大，可能需要较高硬件配置。
- 微调需要至少 24GB 显存的显卡。
- 具体性能与效果暂未提供。
