360-LLaMA-Factory
AI开发平台360-LLaMA-Factory 是基于 LLaMA-Factory 的衍生开源项目,核心创新是引入序列并行(Sequence Parallelism),具体采用 zigzag-ring-attention,以支持长上下文的大模型后训练。该项目在 LLaMA-Factory 基础上以最小代码改动实现高度模块化的序列并行,支持大多数后训练方法,包括 SFT 和 DPO(及其变体)。已测试并添加 DeepSpeed Ulysses 支持,并扩展至 Qwen3 和 Qwen-VL 模型。它旨在解决多模态大模型处理长序列时的训练难题,可作为 LLaMA-Factory 的直接替代,未启用序列并行时行为与原版一致。