报告主题：情智兼备多模态模型初探

报 告 人：杨巨峰教授

时    间：2025年9月20日13:30-14：30

地    点：工科E1716

报告摘要：

 “情智兼备”是以人为中心的视觉计算的重要方向，是迈向通用人工智能的关键一步。《科学》杂志公布的125个最具挑战性的科学问题中，人工智能领域第二个问题为：“是否有可能创建有感知力的和有情感的机器人？”报告人参与提出的“情智兼备数字人与机器人的研究”被遴选为中国科协十大前沿科学问题第1位，进一步证明了这一研究领域的重大科学意义。本报告介绍课题组在「多模态情感模型」领域开展的探索工作。从多模态注意力出发，提出新的模块化双工注意力机制，并基于此构建了一个涵盖感知、认知与情感能力的多模态模型‘摩达（MODA）’。该模型在通用对话、知识问答、表格处理、视觉感知、认知分析和情感理解等六类任务的21个基准测试中均取得了显著性能提升。借由新的注意力机制加持，‘摩达’模型在角色剖析与规划演绎等人机交互应用中表现出色。

报告人简介：

杨巨峰，南开大学教授，数据与智能系统安全教育部重点实验室副主任，国家级青年人才，兼任中国计算机学会计算机视觉专委会副秘书长，中国情感计算大会程序主席（CCAC 2025），国际计算机视觉与模式识别大会（CVPR 2024-2026）领域主席，国际情感计算汇刊IEEE TAFFC编委。已发表PIEEE/PAMI/CVPR等CCF A类龙8在线登录官网-龙8(中国)50余篇，主持国家自然科学基金5项（含重点项目1项）、中国科协战略决策咨询项目（结题优秀）。指导的博士研究生获得第一批/第二批国家自然科学基金青年学生基础研究项目（博士研究生）资助、入选第一批中国科协青年人才托举工程（博士生专项）。

青岛软件学院、计算机与科学与技术学院

2025年9月19日