rwkv-architecture

RWKV 结合 Transformer 的训练并行化与 RNN 的推理效率。安装：先装 PyTorch（pip install torch --upgrade --extra-index-url https://download.pytorch.org/whl/cu121），再装依赖（pip install pytorch-lightning==1.9.5 deepspeed wandb ninja --upgrade），最后 pip install rwkv。基本用法：设置 RWKV_JIT_ON=1、RWKV_CUDA_ON=1，加载 RWKV 模型并指定 strategy 如 cuda fp16。前向可分 GPT 模式（一次传入整段 token）与 RNN 模式（逐段传入并传递 state，结果一致）。典型工作流：流式逐 token 生成文本；处理超长文档（state 累积全文信息，每 token 内存 O(1)）；使用 pytorch-lightning 与 DeepSpeed 微调；与 Transformer 对比显示长序列内存大幅降低。适用场景：需要 100K+ 长上下文、恒定内存、流式应用或内存受限部署。限制与注意：RNN 模式必须在 forward 之间传递 state，否则丢失上下文；训练显存不足可用 gradient checkpointing 与 DeepSpeed stage 3、bf16；推理慢可启用 CUDA kernel；加载失败需检查模型绝对路径与 strategy。硬件要求：NVIDIA GPU（CUDA 11.6+）或 CPU；FP16 显存约 169M 1GB、430M 2GB、1.5B 4GB、3B 8GB、7B 16GB、14B 32GB。相关论文、GitHub、文档与模型链接及硬件、性能等更多细节，资料已提供。