赤兔（Chitu）是一个专注于效率、灵活性和可用性的高性能大模型推理框架，定位于「生产级大模型推理引擎」。项目充分考虑企业 AI 落地从小规模试验到大规模部署的渐进式需求。
主要特性：
- 多元算力适配：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。
- 全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。
- 长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。
版本演进（按资料所列）：
- 2026/07/02 发布 v0.6.0，新增 chitu.run 可执行文件：单文件即可启动多结点、多实例、PD 分离等复杂任务。
- 2026/02/06 发布 v0.5.1，适配摩尔线程 GPU。
- 2025/12/12 发布 v0.5.0，重点提升集群部署场景的性能。
- 2025/08/01 发布 v0.4.0，大幅提升一体机推理部署场景的性能和稳定性，适配昇腾、英伟达、沐曦、海光，支持 DeepSeek、Qwen、GLM、Kimi 等模型。
- 2025/07/28 发布 v0.3.9，首发支持华为昇腾 910B 推理部署智谱 GLM-4.5 MoE 模型。
- 2025/06/12 发布 v0.3.5，提供昇腾 910B 完整原生支持，提供 Qwen3 系列模型高性能推理方案。
- 2025/04/29 发布 v0.3.0，新增 FP4 在线转 FP8、BF16 的高效算子实现，支持 DeepSeek-R1 671B 的 FP4 量化版。
- 2025/04/18 发布 v0.2.2，新增 CPU+GPU 异构混合推理支持，实现单卡推理 DeepSeek-R1 671B。
- 2025/03/14 发布 v0.1.0，支持 DeepSeek-R1 671B，提供 FP8 在线转 BF16 的高效算子实现。
使用方式：建议使用 chitu.run 进行部署，请从 Releases 中的 Assets 页面下载。请参阅开发手册获取完整的安装使用说明。更多模型请参见支持的模型。
性能数据：请参阅开发团队测试的性能数据，也欢迎分享自测数据。性能数据与硬件配置、软件版本、测试负载相关，多次测试结果可能存在波动。
社区与支持：项目欢迎开源社区参与共建，请参阅贡献指南。如有问题或疑虑，欢迎提交 issue。如需专业技术服务，可致信 solution@chitu.ai。
许可证：本项目采用 Apache License v2.0 许可证，详见 LICENSE 文件。仓库还引用了一些来自其他开源项目的代码片段，相关版权信息已在代码中以 SPDX 格式标注，许可证信息可在 LICENSES/ 目录下找到。仓库还包含遵循其他开源许可证的第三方子模块，位于 third_party/ 目录。项目感谢华为、沐曦、海光、燧原、智谱、中国电信、并行科技等各方的帮助，并从多个开源项目（按字母排序）中学习并复用了一些函数。
