用途:在生成或审查 NLP 训练代码时,提供语言模型预训练与微调的最佳实践参考。
主要能力与建议:微调方面,建议使用 HuggingFace hub 上的预训练检查点;优化器用 AdamW,学习率 2e-5 到 5e-5;采用线性预热(占总步数 6%)加线性衰减;batch size 为 16-32,更大有效批次可用梯度累积;分类任务训练 3-5 个 epoch,生成任务 1-2 个;权重衰减 0.01。参数高效方法包括:LoRA 的 r=8-64、alpha=16-128,应用于 q/v 投影;Prefix tuning 使用 10-20 个前缀 token;Adapters 的 bottleneck 维度为 64-256。评估方面:分类用 accuracy、F1(类别不平衡时用 macro F1);生成用 perplexity、BLEU/ROUGE 及人工评估;建议使用多个随机种子并报告均值±标准差。
使用方式:资料未提供具体安装命令、调用接口或代码示例,暂未提供。
适用场景:NLP 模型微调与预训练代码的编写与审阅。限制:以上均为资料给出的通用建议,未提供平台、价格或具体实现细节。