KTransformers 是一个专注于大语言模型（LLM）高效推理与微调的研究项目，通过 CPU-GPU 异构计算实现前沿的推理与微调优化。项目由清华大学 MADSys Lab 开发和维护，欢迎社区贡献。当前项目从 kt-kernel 源码树对外提供两大用户能力：推理（Inference）与 SFT 微调。原始集成式 KTransformers 框架已归档至 archive/ 目录，以便更清晰地维护文档和代码。
推理（Inference）—— 高性能 kt-kernel 服务
KTransformers 的推理能力面向异构 LLM 推理，提供 CPU 优化的内核操作。主要能力包括：
- AMX/AVX 加速：为 INT4/INT8 量化推理提供 Intel AMX 和 AVX512/AVX2 优化的内核。
- MoE 优化：通过 NUMA 感知内存管理实现高效的混合专家（Mixture-of-Experts）推理。
- 量化支持：CPU 端 INT4/INT8 量化权重，GPU 端支持 GPTQ。
- 易于集成：提供简洁的 Python API，可集成到 SGLang 及其他框架。
适用场景包括：在消费级硬件上运行大型 MoE 模型的 CPU-GPU 混合推理；与 SGLang 集成用于生产服务；异构专家放置（热点专家放在 GPU，冷专家放在 CPU）。
SFT 微调 —— 结合 LlamaFactory
KTransformers 与 LlamaFactory 集成，用于超大规模 MoE 模型微调。项目提供了易于使用的微调 Cookbook，覆盖硬件检查、安装、BF16/FP8/INT8 配置、LoRA 与全量训练、资源规划以及故障排查。主要能力包括：
- 多后端支持：CPU/GPU 混合微调，支持 INT8/INT4 量化。
- 超大规模 MoE 支持：可在有限 GPU 显存下微调 DeepSeek-V3/R1 等模型。
- 性能优势：在基准测试的 MoE SFT 工作负载中，相比 ZeRO-Offload 有 6-12 倍训练加速；基准配置下 CPU 内存占用约为之前的 KT SFT 方案的一半。
- LlamaFactory 集成：与流行的微调框架无缝集成。
支持 Kimi K2.5 / K2.6 LoRA 微调，使用原生 RAWINT4 路由专家；端到端验证使用 Kimi K2.5，K2.6 遵循相同的模型架构路径。
版本动态（部分）
项目持续快速迭代，近期更新包括：KTransformers-FineTune (KT-FT) 作者预印本发布；Kimi K2.5 / K2.6 LoRA 微调支持；GLM-5.3-flash 原生支持（1M token 上下文与多模态输入，面向消费级 GPU）；KTransformers × LlamaFactory MoE 微调 Cookbook；LoRA 微调支持兼容 AVX512 x86 CPU（含 AMD 服务器，无需 AMX）；DeepSeek-V4-Flash 在单张 Ascend NPU 上通过 CPU 专家卸载运行；原生 block-FP8 LoRA 微调；MoE 模型端到端 BF16 全参数微调；MiniMax-M3、GLM-5.2、DeepSeek-V4-Flash、MiniMax-M2.5、GLM-5、Kimi-K2.5 等 Day0 支持；CPU-GPU 专家调度、原生 BF16 与 FP8 逐通道精度及 AutoDL 统一微调与推理；RL-DPO 微调；集成 SGLang；Ascend NPU 支持；Intel Arc GPU 支持；AMX-Int8、AMX-BF16 与 Qwen3MoE；3 层（GPU-CPU-Disk）前缀缓存复用等。
使用方式与文档
项目提供推理与 SFT 的快速开始入口、完整文档以及在线书籍。具体安装步骤、命令、代码示例等请参考官方仓库中的文档与教程。若在研究中使用 KTransformers，请引用相关论文（推理论文与微调论文，完整 BibTeX 见项目说明）。
适用场景与限制
KTransformers 适用于希望以 CPU-GPU 异构方式在有限 GPU 显存下运行或微调大型 MoE 模型的研究者与开发者，也适用于与 SGLang、LlamaFactory 等框架集成的场景。其能力聚焦于推理与微调优化，具体支持的模型、硬件、量化格式与性能数据请以官方文档和发布说明为准。项目为研究项目，使用前建议查阅官方指南确认兼容性。
