4月23日，北京大学青年教师学术沙龙第四十四期“多模态统一大模型的技术要素与交叉应用”举行。本期活动由王选计算机研究所穆亚东担任学术召集人，集成电路学院贾天宇、王选计算机研究所王鹏帅等分别结合各自研究领域作了分享报告。来自全校28个单位的40余位教职工参与了本次活动。沙龙由人事部副部长李伟主持。

活动现场

穆亚东以“多模态大模型：从CLIP到Pi-zero”为题，系统梳理了多模态大模型的技术发展脉络，重点探讨了其架构设计、核心要素及前沿应用场景。他回顾了人工智能从深度学习到大模型时代的范式转变，指出多模态大模型通过融合视觉、语言、动作等模态数据，正在向具身智能方向演进。穆亚东还分享了其与企业合作的创新成果，展示了多模态技术在影视制作、工业设计等领域的应用潜力。

贾天宇以“智能多模态模型的计算需求和芯片设计”为题，深入分析了AI芯片的技术迭代趋势与挑战。他对比了训练与推理任务对算力、内存带宽的差异化需求，强调芯片设计需紧密结合模型特性。针对多模态场景，贾天宇提出“内存密集”与“计算密集”并行的优化思路，并介绍了团队研发的面向文生图、文生视频等任务的专用芯片成果。

王鹏帅以“一体化的三维表达与学习”为题，聚焦三维数据处理的统一化挑战。他提出了一种基于稀疏性、层级性与序列化的三维八叉树神经网络框架，显著提升了模型训练与推理效率。报告中，他还展望了三维生成技术与多模态大模型的深度融合，认为这将为机器人、元宇宙、智能制造等领域带来革新。

从左到右依次为：穆亚东、贾天宇、王鹏帅

在讨论环节，与会教师们就多模态统一大模型在教学、科研以及医学中的应用展开了深入交流和探讨。

未来，人事部将持续紧扣青年教师学术发展需求，不断深化拓展学术沙龙活动的内涵与外延，以多元化的活动内容与形式，积极助力学校高水平人才队伍建设，为加快建设中国特色世界一流大学作出积极贡献。

专题链接： 青年教师学术沙龙