新研究创新多模态联邦学习框架

记者5月4日从天津理工大学获悉，该校计算机科学与工程学院副教授亓帆及其研究生李帅，针对多模态联邦学习中常见的模态不兼容问题展开深入研究，提出了一种创新的自适应超图聚合的多模态联邦学习框架。近日，该成果论文被计算机视觉和人工智能领域国际公认的顶级会议CVPR 2024录用。

据介绍，现有联邦学习方法只会传输模型参数或梯度，不会传输每个客户端的隐私数据，这有助于保护用户隐私。然而，大多数现有联邦学习方法在训练时仍然使用单模态数据。随着边缘计算不断发展，多模态数据越来越多。基于此，研究多模态联邦学习十分必要。

该框架通过结构化设计客户模型、全局共识原型增强器及自适应超图聚合协作图三大关键模块，可自适应地完成多模态客户端之间模型的聚合，实现跨模态数据客户端之间的联邦协同训练，解决了模态不兼容和统计异质性挑战。