recurrentgemma
AI开发平台RecurrentGemma 是 Google DeepMind 发布的一系列开放权重语言模型,基于新型 Griffin 架构。该架构用局部注意力与线性递归的混合机制替代全局注意力,从而在生成长序列时实现快速推理。此仓库包含模型实现以及采样和微调的示例代码。官方推荐大多数用户使用经过高度优化的 Flax 实现,同时也提供未优化的 PyTorch 参考实现。模型检查点可通过 Kaggle 下载,包含权重和分词器。代码支持 CPU、GPU 或 TPU 运行,Flax 实现针对 TPU 进行了优化,并包含用于递归层线性扫描的低层 Pallas 内核。项目采用 Poetry 管理依赖,并提供 Colab 教程覆盖采样和微调。