• 多智能体与具身智能研究所
• 2024年4月17日
• • 高文主任作序力荐！鹏城实验室林倞教授推出重磅专著：《多模态大模型：新一代人工智能技术范式》

多智能体与具身智能研究所

多智能体与具身智能研究所隶属于鹏城实验室网络智能研究部，负责人是林倞教授(国家杰青、IAPR Fellow、国家重点研发项目负责人、原商汤科技研究院执行院长)。研究所以人工智能前沿技术探索、以及原创技术引领产业发展为导向，重点突破智能体视角下的多模态感知与生成.智能体任务生成与规划、多智能体的通讯协作与联合决策、具身智能体的控制与人机共融、智能体评测机制与体系等几大方向开展研究。相关课题将涵盖从基础理论到实际应用的全方位内容，旨在通过领域合作研究，解决现实世界中的复杂智能体问题，支撑智能制造、工业物联网、无人自主系统、机器人系统在内的多个场景的规模化产业应用。现阶段，研究所发展迅速、人员构成多元化，已经形成了包括全职、双聘、访问学者、联培博士生等在内近30人团队。团队核心成员均拥有在海内外知名高校工作、学习的经历。

多智能体与具身智能研究所有另外两个组织，分别存放开源代码和数据集，链接如下：

1. 代码开源库：https://openi.pcl.ac.cn/Code_library_of_IMAEI
2. 数据集库：https://openi.pcl.ac.cn/ARIO/ARIO

2024年4月17日

高文主任作序力荐！鹏城实验室林倞教授推出重磅专著：《多模态大模型：新一代人工智能技术范式》

2023年，由ChatGPT掀起的这波技术浪潮将我们带入了人工智能新时代，大语言模型、AIGC、世界模型、具身智能、超级智能体等关键词频繁地出现在各大新闻头条，人工智能正在经历着范式转变，这被誉为第四次工业革命的标志。在全球竞相发展新一代人工智能技术的时代背景下，2024年的《政府工作报告》明确指出要加快发展新质生产力，并首次提出“人工智能+”行动，这标志着人工智能已成为引领新质生产力发展的关键引擎，我国正将“人工智能+”提升至国家层面的战略行动。

什么是新一代人工智能？新一代人工智能将如何改变我们的生活？如何在这场技术革命中抢占先机？这些问题影响着人工智能的发展，更深刻地影响着国家的前途命运。多模态大模型，是这场技术范式变革的核心，是迈向通用人工智能（AGI）的关键。多模态大模型涵盖了多种技术领域，包括自然语言处理、计算机视觉以及具身智能等。近年来，这些领域的研究成果不断涌现，但却分散在各个领域和不同的文献中。由于表述习惯、术语和符号的差异，初学者往往难以建立系统性的理解，面临一定的学习困难。因此，像《多模态大模型：新一代人工智能技术范式》这样一本全面且系统地介绍多模态大模型的书是非常必要的。

为了应对新一代人工智能技术的崛起，并为广大人工智能从业者提供一份全面而系统的多模态大模型学习指南，鹏城实验室林倞教授联合中山大学研究团队历时一年有余，推出了学术专著《多模态大模型：新一代人工智能技术范式》。完成这样一本书是一项艰巨的任务，需要从大量已有成果中筛选出既有代表性，又能反映新一代人工智能技术范式发展全貌的材料，并将它们提炼组织起来。《多模态大模型：新一代人工智能技术范式》是业内首本全面介绍多模态大模型核心技术与应用的书籍，并围绕新一代人工智能技术范式，详细阐述了因果推理、世界模型、超级智能体与具身智能等前沿技术。

本书也得到高文院士作序力荐！

本书的目标是系统地介绍多模态大模型的关键技术、基础模型和典型应用。为了能够让低年级本科生和刚进入人工智能领域的从业者更容易理解书中的技术内容，本书以深入浅出的方式介绍了各个关键技术点，并提供了许多易于理解的直观实例。希望通过这本书向读者介绍多模态大模型的技术方法、开源平台和应用场景，以及对如何实现通用人工智能提供清晰的指导，其中深入阐述了因果推理、世界模型、具身智能与多智能体等前沿技术。希望本书能够为学术界和工业界提供一个清晰的视角，以促进人工智能科研工作者更全面地了解多模态大模型的技术和新一代人工智能的发展方向。

本书内容共五章，每一章都围绕着多模态大模型的关键领域展开，希望为读者提供一次全方位的学习和思考之旅。

第一章从最具代表性的大模型结构入手，引导读者深入了解BERT、ViT、GPT家族、ChatGPT、ChatGLM、百川大模型，为对多模态大模型的全面认知打下基础。

第二章深入剖析多模态大模型的核心技术，涵盖了预训练、提示学习、上下文学习、微调、思维链和人类反馈强化学习，揭示了多模态大模型的独特之处和技术内涵。

第三章介绍了多个代表性的多模态基础模型，如CLIP、BLIP、LLaMA、SAM和PaLM-E等，为读者呈现了多样性和广泛性的技术解决方案。随后。

第四章深入分析了视觉问答、AIGC和具身智能这三个典型应用，展示了多模态大模型在实际场景中的强大能力。

第五章探讨了现有多模态大模型存在的挑战，并介绍了实现通用人工智能的可行思路，包括因果推理、世界模型、具身智能与多智能体等前沿技术方向。

本书主要面向高年级本科生和研究生，可以作为新一代人工智能相关课程教材使用，也可以作为对多模态大模型感兴趣的读者入门之用。当然，由于大模型技术的演进变化还在进行，难免有些最新成果未被包含，可以留给未来再版时更新，是遗憾，更是期待。

中山大学人机物智能融合实验室（https://www.sysu-hcp.net） 由林倞教授创办于2010年，实验室围绕“人工智能前沿技术与产业化”布局研究方向与课题，并深入应用场景打造产品原型，输出大量原创技术及孵化创业团队，许多重要学术和产业成果享誉全球。在多模态认知计算、具身交互与学习、元宇宙与数字人、可控内容生成等领域开展体系化研究，以“攀学术高峰、踏应用实地”为工作理念。2022年实验室孵化创新企业拓元智慧，打造通用多模态认知AI技术平台，深度赋能企业数智化、元宇宙、智慧城市等主要应用场景。

作者简介：

精彩实拍：

本书在线资源（含目录、参考文献等）：
https://hcplab-sysu.github.io/Book-of-MLM/