用途：为分类与生成任务制定 Transformer 微调方案，帮助在预训练模型基础上用较小标注数据适配特定任务。
主要能力：覆盖全量微调与参数高效微调（PEFT）。给出 BERT 文本分类的完整 Hugging Face Trainer 流程（分词、指标、训练参数）；提供按模型规模推荐的学习率、warmup、权重衰减参考表；展示 LoRA（冻结预训练权重、注入低秩矩阵）与 QLoRA（4-bit 量化 + LoRA，可单卡 24GB 运行）配置；对比全量微调、LoRA、QLoRA、Prefix tuning、Adapter、Prompt tuning 的可训练参数占比、显存与性能；给出缓解灾难性遗忘的三种策略：渐进式解冻、分层差异化学习率、EWC 惩罚。
使用方式：基于 transformers、datasets、peft、bitsandbytes 等库，按示例加载模型与分词器、构造数据集、设置 TrainingArguments 与 Trainer 或 LoraConfig 后训练。关键命令与参数保持原样，如 bert-base-uncased、learning_rate=2e-5、r=16、lora_alpha=32、load_in_4bit=True 等。建议先参考对应模型规模的学习率区间做 3-5 组扫描。
适用与限制：适合 NLP 分类、指令跟随等研究场景及论文复现。注意需要在留出测试集上评估，分类任务通常冻结 embedding；文中未提供具体数据集、硬件清单、收费信息与完整可复现实验步骤，实际效果以自身实验为准。