用途
本项目是 NVIDIA 提供的 AI Workbench 示例项目，用于部署 LLaMA-Factory，并演示一个端到端的模型开发工作流。其核心目标是在 AI Workbench 环境中完成大语言模型的微调及相关处理流程。
主要能力
根据项目资料，工作流包含以下环节：
- 使用 LLaMA-Factory 微调大语言模型。
- 将生成的 LoRA 适配器与基础模型融合（Fuse）。
- 对模型进行训练后量化（Post Training Quantization）。
- 将模型导出为 TensorRT-LLM checkpoint。
- 支持 unsloth。
使用方式
项目为 AI Workbench 项目形式，需在 AI Workbench 中部署 LLaMA-Factory。资料建议按照 RTX AI Toolkit 的 LLM 微调教程进行操作。
环境要求：
- 最低推荐的 AI Workbench 版本：0.50.16
- Docker Desktop 版本：4.31+
适用场景
适用于需要在 AI Workbench 环境下体验或实践大语言模型微调、LoRA 融合、训练后量化及 TensorRT-LLM 导出流程的开发者和研究者。
限制
资料未提供支持的模型清单、硬件配置要求、具体命令、参数设置、收费或授权信息，这些内容暂未提供。
