讲座报告主题：MoBA：用于长上下文LLM的块注意力混合机制
专家姓名：裘捷中
日期：2025-05-24 时间：14:45
地点：会议中心第一报告厅
主办单位：计算机科学与通信工程学院

主讲简介：裘捷中，中科院杭州医学所研究员。本科和博士毕业于清华大学计算机系，导师为唐杰教授，Google Scholar引用7000多次，曾获得2024年国际基础科学大会（ICBS）前沿科学奖、2023年CCF博士学位论文激励计划提名、2023年北京市优秀博士学位论文提名、2022年SIGKDD 博士论文奖亚军。研究专长：研究领域为 AI4Science，大规模预训练和图学习。

主讲内容简介：报告介绍了混合块注意力（Mixture of Block Attention，简称MoBA），这是一种将混合专家（Mixture of Experts，简称MoE）技术应用于注意力的新型稀疏注意力架构。这种架构允许每个query在训练时动态地学习需要关注的KV块，而不是引入提前设定的稀疏注意力规则。MoBA在长文本任务中表现出色，并且能够在全注意力和稀疏注意力之间无缝切换，提升效率的同时不会降低性能。MoBA已经部署用于支持Kimi的长文本服务。

欢迎师生参加！