新研究创新多模态联邦学习框架
记者5月4日从天津理工大学获悉，该校计算机科学与工程学院副教授亓帆及其研究生李帅，针对多模态联邦学习中常见的模态不兼容问题展开深入研究，提出了一种创新的自适应超图聚合的多模态联邦学习框架。近日，该成果论文被计算机视觉和人工智能领域国际公认的顶级会议CVPR 2024录用。据介绍，现有联邦学习方法只会传输模型参数或梯度，不会传输每个客户端的隐私数据，这有助于保护用户隐私。然而，大多数现有联邦学习方法在训练时仍然使用单模态数据。随着边缘计算不断发展，多模态数据越来越多。基于此，研究多模态联邦学习十分必要。该框架通过结构化设计客户模型、全局共识原型增强器及自适应超图聚合协作图三大关键模块，可自适应地完成多模态客户端之间模型的聚合，实现跨模态数据客户端之间的联邦协同训练，解决了模态不兼容和统计异质性挑战。......阅读全文
新研究－创新多模态联邦学习框架
记者5月4日从天津理工大学获悉，该校计算机科学与工程学院副教授亓帆及其研究生李帅，针对多模态联邦学习中常见的模态不兼容问题展开深入研究，提出了一种创新的自适应超图聚合的多模态联邦学习框架。近日，该成果论文被计算机视觉和人工智能领域国际公认的顶级会议CVPR 2024录用。据介绍，现有联邦学习方法只会
上海AI实验室发布书生通用大模型体系
如同人类的“五感”互相连通密不可分，人工智能的视觉、语言、音频等模态间的边界日渐融合，随着人工智能感知、交互和生成能力的快速发展，多模态大模型正推动人工智能迈进“通感”时代。 上海人工智能实验室（上海AI实验室）于近日发布书生通用大模型体系，其中，书生·多模态包含200亿参数，由80亿海量多模
大连理工团队利用多模态深度学习追踪微塑料老化历程
近日，大连理工大学副教授单佳佳课题组探索利用多模态深度学习追踪微塑料老化历程，并预测其早期受到的老化因子类型，取得研究进展。相关成果发表在《环境科学与技术》，并被选为封面文章。 微塑料在环境中广泛存在，并经历老化过程，导致其表面理化性质发生变化，而这些理化性质的变化会进一步影响微塑料的环境行为
跨模态通用人工智能平台“紫东太初”研发出炉
7月9日，中国科学院自动化研究所在2021世界人工智能大会（WAIC2021）上就人工智能的最新进展进行报告，发布了自动化所研发的跨模态通用人工智能平台——“紫东太初”。 “紫东太初”跨模态通用人工智能平台以多模态大模型为核心，基于全栈国产化基础软硬件平台，可支撑全场景AI应用。多模态预训练模
百度“2022十大科技前沿发明”发布
9月20日，百度发布“2022十大科技前沿发明”，披露其高价值ZL成果。ZL显示，百度多项人工智能、自动驾驶ZL技术处于领先地位。这10项科技前沿发明依次为：跨模态通用可控人工智能内容生成（AIGC）、无人车多传感器融合处理系统、知识增强大模型、深度学习通用异构参数服务器架构、基于AI的生物计算平台
智能感知与人机协同教育部重点实验室获批建设
原文地址：http://news.sciencenet.cn/htmlnews/2023/4/497931.shtm近日，教育部公布“十四五”第一批教育部重点实验室建设立项名单。上海科技大学“智能感知与人机协同”教育部重点实验室获批立项建设。“智能感知与人机协同”重点实验室依托上科大信息科学与技术学
26岁“轮椅博士生”：我只想努力做好自己
今年26岁的邵镇炜，体重仅有25公斤。他从小患有“进行性脊肌萎缩”，双手几乎只有大拇指和食指能动，终身与轮椅为伴。邵镇炜邵镇炜并没有就此向命运屈服。2021年9月，他以计算机技术与科学专业第一名的成绩获得推免资格，保送至杭州电子科技大学（以下简称杭电）攻读博士研究生，研究方向为多模态数据处理和人工智
“紫东太初”全模态大模型开启AGI新路径
原文地址：http://news.sciencenet.cn/htmlnews/2023/5/500126.shtm“‘紫东太初’2.0全模态大模型可融入3D、视频、传感信号等更多模态数据，并优化语音、视频和文本的融合认知及常识计算等功能，进一步突破感知、认知和决策的交互屏障。”5月6日，在华为昇腾
三项第一！同济团队在国际比赛中获“大满贯”
近日，2025年IEEE国际计算机视觉与模式识别会议（CVPR）在美国举行。会上揭晓了超可见光谱感知挑战赛结果，同济大学计算机科学与技术学院教授赵生捷团队在全球300余支队伍中脱颖而出，在多模态视觉方向的3项核心挑战中以绝对优势获第一，实现“大满贯”。此外，团队的科研成果获大会官方特邀进行主会场汇报
Nature－Medicine－|－人工智能助力痴呆症精准诊断：多模态数据综合应用的突破
痴呆症的鉴别诊断一直是神经病学中的一个挑战，由于各种病因在症状上的重叠，这一过程显得尤为复杂。然而，准确的鉴别诊断对于制定早期个性化的治疗策略至关重要。7月4日Nature Medicine的报道“AI-based differential diagnosis of dementia etiol
科研团队实现PETMR双模态全脑区自动分割技术
记者从中国科学院深圳先进技术研究院了解到，近日，该院医学成像科学与技术系统全国重点实验室研究员胡战利团队，开发了一种基于交叉融合机制的PET-MR双模态全脑区自动分割技术，该方法在分割过程中高效整合PET与MR的功能和结构信息，实现了更精确、更全面的脑区分割，为医学影像分析和神经系统疾病的诊断提供了
ChatGPT敲开了通用人工智能的大门了吗？
连日来，一路“狂飙”的ChatGPT持续引发着“话题地震”。 作为由OpenAI训练的对话式大规模语言模型，ChatGPT 以对话的方式与人进行交互。重点在于，它的回答之智能、之流畅令人意外。据媒体报道，ChatGPT不仅能在短短几秒内响应人们的问题需求，它还通过了美国部分高校的法律、医学考试
首个视觉强化学习统一框架，开源！
想象一下未来的智能体，无论是作为你的虚拟助手，还是帮你操控终端的机器人、自动驾驶，它们都必须具备超越简单看图识物的能力：不仅要“看懂”（精确感知环境），更要“想明白”（基于视觉信息进行复杂逻辑推断、关系理解和行为预测）。而强化学习（RL），正是让多模态模型实现这些核心能力的关键路径。 但在当前
祝贺！紫东太初获世界人工智能大会－SAIL大奖
9月1日， 2022世界人工智能大会在沪开幕。开幕式上，本届大会的最高奖项SAIL奖(卓越人工智能引领者）正式发布，中科院自动化研究所和华为联合开发的全球首个三模态大模型“紫东太初”从众多国内外参评项目中脱颖而出，摘得大奖。紫东太初获SAIL大奖 大会组委会供图 SAIL奖旨在从全
全球首创多模态肿瘤治疗系统发布
原文地址：http://news.sciencenet.cn/htmlnews/2023/7/504937.shtm
“多模态”技术助推图像内容安全建设
原文地址：http://news.sciencenet.cn/htmlnews/2023/10/510589.shtm
多模态文本智能技术助力AI实现智能推理
随着人工智能（AI）深入各行各业，多模态大模型正在成为AI发展的重要方向之一。近日，第八届中国模式识别与计算机视觉学术会议（PRCV 2025）在上海召开，“多模态文本智能大模型前沿技术与应用”论坛同期举办。来自华南理工大学、哈尔滨工业大学、南开大学、华中科技大学、小红书及合合信息技术团队的专家与学
“能打字就能做视频”，智象多模态大模型升级
12月28日，安徽人工智能产业先导区启动活动在合肥举行，智象未来科技有限公司（以下简称智象未来）作为安徽人工智能产业先导区的零号入驻企业正式落地合肥。活动现场，智象未来正式发布智象多模态生成大模型3.0版。梅涛介绍智象多模态生成大模型3.0 主办方 供图“智象多模态生成大模型3.0版全面升级图像和
AI能让计算机直观学习思考
科学家们正尝试解决人与机器之间的差距问题。英国《自然·人类行为》上发表的一项研究指出，一个人工智能（AI）系统能以类似婴儿的方式学习物理世界的基本常识性规则。 “直观物理学”是体现智力的基础，使人们能够与物理世界进行真实的接触，这也是人类所谓“常识”的关键组成部分。人类在这方面具有先天优势，即
基于昇腾AI的紫东.太初凭何脱颖而出？
9月1日，2022世界人工智能大会最高大奖SAIL（Super AI Leader，卓越人工智能引领者）尘埃落定。 三模态人工智能大模型“紫东.太初”在800多个角逐者中脱颖而出一举夺魁。此前数周，在济南举行的首届中国算力大会上，“紫东.太初”同样表现稳健，抱回“DC Tech创新先锋”奖杯。
百度CTO干货演讲，一文看懂飞桨和文心大模型
作为AI工业大生产的基础平台，深度学习平台下接芯片、上承应用，被视为“智能时代的操作系统”。作为我国首个自主研发的产业级深度学习开源开放平台，飞桨致力于解决深度学习技术发展和大规模产业化中的诸多难题，降低AI开发和应用的门槛，助力AI普惠。 6月9日晚，北京信息科学与技术国家研究中心系列交
中科院自动化所打造“紫东太初”全模态大模型
原文地址：http://news.sciencenet.cn/htmlnews/2023/5/500062.shtm 中新网北京5月6日电 (记者 孙自法)中国科学院自动化研究所(中科院自动化所)6日发布消息说，该所以其多模态大模型“紫东太初”1.0为基础，目前正在和武汉人工智能研究院联合打造全
粮油检测技术之计算机视觉技术介绍
在稻米品质的感官评价上，由于人工检测工作量大，主观性强，而借助于计算机视觉技术，可以使得稻米品质的检测技术更加快速、准确。目前，计算机视觉技术已对垩白、粒型、黄粒米率、整精米率、蛋白质含量、直链淀粉含量仪等 品质指标进行了研究和测定。孙明等旧1研究了基于采用MATLAB软件开发平台来构造计算机视觉的
国际人工智能大会在中国石油大学（华东）举行
如何把超级计算机技术应用到智能手机上，如何高效、可靠、安全地控制机器人，如何使人工智能技术更加绿色低碳……12月15日至17日举行的2022国际人工智能大会（青岛）暨“一带一路”计算智能前沿学术会议对这些问题进行了深入的研讨。来自中国、德国、英国、加拿大、法国、印度、波兰、土耳其等17个国家的24名
上科大智能感知与人机协同教育部重点实验室获批
近日，教育部公布了“十四五”第一批教育部重点实验室建设立项名单。上海科技大学“智能感知与人机协同”教育部重点实验室成功获批立项建设。 “智能感知与人机协同”重点实验室依托上科大信息科学与技术学院，结合智能感知、大语言模型、机器人技术、多智能体等前沿方法，旨在探索下一代人类智能与机器智能的协同发
类脑信息处理研究取得进展
近期，中国科学院自动化研究所类脑智能研究中心类脑信息处理（BRAVE）研究组，在研究员张兆翔的带领下，在借鉴生物神经结构、认知机制与学习特性的神经网络建模与类人学习研究中取得了一系列突破性进展。该研究组在“视听模态的生成、融合”以及“智能体之间的知识迁移”取得了重大突破，系列成果发表在AAAI
人工智能的五大“视觉”难题
近年来，图像识别水平的快速提升推动人工智能热潮形成，图像识别技术的突破不仅提高了计算机对人脸、文字、指纹及生物特征、医学图片等识别的准确率，而且进一步推动了安全监控、智能交通、无人机、智能制造等广泛领域的发展。但也遇到进一步发展，如可解释、可分析综合、可设计仿真等等挑战。 对此，在中国工程院信
2022国际人工智能大会在青岛举行
2022国际人工智能大会在青岛举行 王大勇摄 如何把超级计算机技术应用到智能手机上，如何高效、可靠、安全地控制机器人，如何使人工智能技术更加绿色低碳……日前，2022国际人工智能大会（青岛）暨“一带一路”计算智能前沿学术会议在中国石油大学（华东）召开，对这些问题进行了深入的研讨。来自
多模态PET驱动跨学科临床前期成像
多模态PET驱动跨学科临床前期成像作者：Sonica van Wyk，Bruker Biospin核分子成像市场产品经理断层成像是一种广泛应用于各种领域的成像技术，包括放射学、核医学，以及地球物理和材料科学。它根据一个物体的截面或投影提供三维信息，常见的例子包括X射线、计算机断层扫描（CT）、正电子
多模态同步语言神经影像数据集发布
大脑在加工语言时，需要实时调动多个脑区的神经元进行协同工作。构建高时空分辨率的神经影像数据可以帮助我们更好地了解各个脑区以及脑区之间的协同合作，对于探索大脑的语言加工机制至关重要。当前已有的开源数据主要针对英文采集，只包括单一模态的神经影像数据，如高空间分辨率的功能核磁共振（fMRI）或高时间分