讲座报告主题：开放环境多模态预训练模型高效学习与应用
专家姓名：杨小汕
日期：2025-11-09 时间：11:05
地点：计算机学院208报告厅
主办单位：计算机科学与通信工程学院

主讲简介：杨小汕，中科院自动化所多模态人工智能系统全国重点实验室研究员、博士生导师。2016年博士毕业于中科院自动化所模式识别国家重点实验室，近年来聚焦开放环境多媒体内容分析，发表100余篇论文，其中TPAMI、IJCV、TMM等期刊和MM、CVPR、NeurIPS、AAAI等CCF-A类会议60+。曾获中科院院长奖、中科院优博、CCF-腾讯犀牛鸟卓创奖、中国多媒体大会最佳论文奖。负责面上项目、青C项目（原青年基金）、XXX委重点项目课题。研究专长：多媒体内容分析、计算机视觉、模式识别。

主讲内容简介：多模态预训练模型通过联合学习不同模态的数据，能够抽取跨模态的抽象概念与共性知识，相比视觉或者语言预训练模型展现出了更强的通用性。近年来，多模态预训练模型在跨模态检索、跨模态生成等任务上取得了显著进展；然而，在开放环境的真实应用场景中，其跨模态关联建模能力与迁移泛化能力仍面临多重挑战。本报告将围绕两个关键问题展开讨论：（1）在不损失各模态固有信息结构的前提下，如何实现有效且稳健的跨模态关联建模；（2）在保证模型泛化性的基础上，如何实现多模态大模型在下游任务中的跨域迁移与小样本快速适配。报告首先分析多模态预训练模型中“理想视觉系统”应具备的关键要素，并介绍基于解耦视觉表征构建的多模态预训练模型Libra。同时，报告还将介绍能够保持预训练模型泛化性的跨域迁移和小样本迁移方法，为多模态预训练模型在复杂开放场景中的应用提供实践路径。

欢迎师生参加！