llm-fine-tuning

用途：在领域数据（法律、医疗、代码、客服等）上微调开源 LLM，可从单卡 LoRA 扩展到多节点分布式全参数微调，并支持 DPO、RLHF 与指令微调，以及导出微调适配器用于生产服务。前提条件：NVIDIA GPU 24GB 以上显存（RTX 4090/A100/H100）、CUDA 12.1 以上且 nvidia-smi 可用、Python 3.10+ 与 pip、Hugging Face 账号及 HF_TOKEN、500GB 以上磁盘。主要能力：提供 QLoRA 快速上手代码（transformers、datasets、trl、peft、bitsandbytes、accelerate），含 4bit 量化与 LoRA 配置；提供 Axolotl 生产级配置示例与运行命令，支持 sample_packing、flash_attention；给出 DeepSpeed ZeRO Stage 3 配置与多卡启动命令；提供 DPO 训练与 LoRA 适配器合并、推送到 Hugging Face Hub 的代码；以及 Kubernetes 训练 Job 示例。使用方式：安装依赖后按示例配置模型、数据集与训练参数运行，或用 accelerate launch 启动 Axolotl 配置。限制：未提供具体收费与价格信息；效果、速度等数据以资料所述为准，需自行验证；硬件与显存要求较高，常见问题包括显存不足、损失 NaN、训练缓慢、微调质量差与适配器合并错误。