PaddleNLP

用途

PaddleNLP 是基于飞桨深度学习框架的大语言模型开发套件，面向开发者提供 NLP 与大模型（LLM）全流程开发能力，助力实现高效的大模型产业级应用。其特点为“简单易用”与“性能极致”。

主要能力

• 模型覆盖广：支持 LLaMA、Qwen、DeepSeek、Mistral、ChatGLM、Bloom、Baichuan、Gemma、OPT 等多个系列模型，并持续支持 Qwen3、DeepSeek V3/R1、QwQ-32B 等最新热门模型。
• 全流程贯通：覆盖大模型预训练、精调（含 SFT、PEFT 技术）、对齐、量化、推理与部署。
• 高性能训练：支持 4D 混合并行（数据并行、分组参数切片数据并行、张量模型并行、流水线模型并行），Trainer 支持分布式策略配置化。结合零填充数据流与 FlashMask 高性能算子，提升精调训练吞吐。
• 存储优化：Unified Checkpoint 支持训练断点动态扩缩容恢复，异步保存可加速模型存储 95%，Checkpoint 压缩可节省 78.5% 存储空间。
• 高性能推理：内置动态插入和全环节算子融合策略，支持 Weight Only INT8 及 INT4 推理，支持 WAC（权重、激活、Cache KV）进行 INT8、FP8 量化推理，支持投机解码。
• 多硬件适配：支持英伟达 GPU、昆仑 XPU、昇腾 NPU、燧原 GCU 和海光 DCU 等多种硬件的大模型和自然语言理解模型训练与推理，接口支持硬件快速切换。
• 特色组件：
  • PP-UIE：自研通用信息抽取模型，支持 8K 长度信息抽取，强化零样本学习能力，支持极少甚至零标注数据冷启动与迁移学习，训练效率相较 LLama-Factory 提升 1.8 倍。
  • FlashRAG-Paddle：基于 PaddleNLP 的高效 RAG 开发与评测框架，推理性能相比 transformers 动态图提升 70% 以上。
  • MergeKit：模型融合工具，缓解对齐代价。
  • Embedding 训练：支持 INF-CL 超大 batch size 训练。

使用方式

• 环境要求：paddlepaddle >= 3.0.0rc1。若尚未安装 PaddlePaddle，请参考飞桨官网进行安装。
• 安装：可通过以下命令安装最新 develop 分支代码（具体命令见官方文档 Installation 页面）。
• 快速上手：PaddleNLP 提供 Auto API，可快速加载模型和 Tokenizer。官方给出使用 Qwen/Qwen2-0.5B 模型做文本生成的示例。还提供无需 clone 源代码的快速微调方式。
• 学习资源：精选模型库、多场景示例、交互式教程（可在免费算力平台 AI Studio 上学习）。

适用场景

覆盖产业级智能助手、内容创作、知识问答、关键信息抽取等应用场景。适用于智能制造、指挥交通、医疗健康、金融服务等行业的大模型训练、压缩与推理落地。

限制

• 当前资料未提供收费、价格或商业授权模式的明确信息，仅说明遵循 Apache-2.0 开源协议。
• 具体支持模型列表、硬件适配细节及安装命令请查阅官方文档，本介绍不逐一展开。
• 部分功能（如 PP-UIE、FlashRAG-Paddle）的详细使用步骤和性能数据需参考官方文档及对应链接，本文不编造。