用途 Book-of-MLM 是《多模态大模型:新一代人工智能技术范式》一书的配套教学资源仓库,由中山大学人机物智能融合实验室(HCP-Lab)在 GitHub 上维护。其目标是为低年级本科生和刚进入人工智能领域的从业者提供深入浅出的多模态大模型学习材料,系统介绍多模态大模型的关键技术、基础模型和典型应用,并探讨实现通用人工智能的可行思路。
内容结构 全书共 5 章:第 1 章深入探讨最具代表性的大模型结构;第 2 章深度剖析多模态大模型的核心技术;第 3 章介绍多个具有代表性的多模态大模型;第 4 章深入分析视觉问答、AIGC 和具身智能这 3 个典型应用;第 5 章探讨实现通用人工智能的可行思路,涉及模型鲁棒性、可解释性、可信性、因果推理、世界模型、具身智能与多智能体等前沿技术领域。
教学资源 仓库提供中山大学计算机学院本科生教学课件,共 12 讲:Lecture 1 什么是多模态大模型(第一章);Lecture 2 多模态大模型的发展与演进(第一章);Lecture 3 从预训练到自监督(第二章);Lecture 4 自监督与对比学习(第二章);Lecture 5 提示学习与上下文学习(第二章);Lecture 6 思维链与价值对齐(第二章);Lecture 7 多模态基础模型(第三章);Lecture 8 多模态模型走向真实世界(第三章、第四章);Lecture 9 AIGC原理与应用(第四章);Lecture 10 具身智能基础理论与应用(第四章);Lecture 11 多模态大模型空间推理(第五章);Lecture 12 具身世界模型(第五章)。如需 PPT 版本,可通过邮件 liuy856@mail.sysu.edu.cn 联系。
其他资源 仓库还列出了相关开源资源,包括具身智能体开源操作系统 PhyAgentOS、视觉-语言因果推理开源框架 CausalVLR、HCP-Diffusion 统一代码框架,以及具身智能 paper list(Embodied_AI_Paper_List)。
适用场景 本书适合高校相关专业高年级本科生和研究生作为教材使用,也是各类 IT 从业者的参考之作。在教学课时安排上,可满足 32 至 56 学时的教学安排。该课件已成为同济大学、重庆大学、西北工业大学、山东大学、西安电子科技大学、华南师范大学等十余所高校的教学 PPT。本书入选中山大学本科教材系列。
作者与反馈 作者为刘阳(中山大学计算机学院副教授,中山大学人机物智能融合实验室 HCP-Lab 骨干成员)和林倞(IEEE Fellow、IAPR Fellow、IET Fellow,鹏城实验室多智能体与具身智能研究所所长,中山大学二级教授,国家杰出青年科学基金获得者,国家人工智能重大专项首席科学家)。如对本书内容有意见或建议,可通过 GitHub Issues 页面反馈。
限制 本资料为教学配套资源与教材,暂未提供关于具体安装命令、代码运行方式或软件工具的详细信息;课件 PPT 版本需通过邮件联系获取。