传统方法vs脑启发AI视频处理：谁更胜一筹？
研究背景：人工神经网络最初受人类大脑启发，但在处理信息的效率上仍远逊于人脑。人脑高效的关键之一，是它只聚焦于最相关的信息，并依据任务分配认知资源。随着 AI 系统越来越多地同时分析文本、视频、音频与图像等多种数据，这种"聚焦关键信息"的能力，对于减少计算时间与资源消耗正变得愈发重要。问题在于，大多数视频帧包含的有用信息极少，而传统 AI 系统仍会逐帧分析全部内容，既推高计算成本，又可能引入噪声、降低预测准确度。 实验过程：由日本北陆先端科学技术大学院大学（JAIST）的冈田祥吾（Shogo Okada）教授及其博士生黎鸿（Hung Le）领衔的研究团队，开发出一种名为 EMF-dVAE（高效多模态融合离散变分自编码器）的 AI 模型。该框架受人类大脑"选择性注意"机制启发，能在视频流中滤除冗余的视觉帧，只聚焦于信息量最大的时刻。黎鸿作为论文第一作者，将模型类比为人类交谈时的自然注意方式："交谈时人并不会始终盯着对方，而是先察觉......阅读全文
传统方法－vs－脑启发AI视频处理：谁更胜一筹？
研究背景：人工神经网络最初受人类大脑启发，但在处理信息的效率上仍远逊于人脑。人脑高效的关键之一，是它只聚焦于最相关的信息，并依据任务分配认知资源。随着 AI 系统越来越多地同时分析文本、视频、音频与图像等多种数据，这种"聚焦关键信息"的能力，对于减少计算时间与资源消耗正变得愈发重要。问题在于，大多
关于多模态影像融合神经导航在脑动静脉畸形手术的应用
无锡市人民医院神经外科2014年10月-2016年7月应用MRA、MRI等多模态影像，通过神经导航系统进行融合，辅助显微手术切除脑动静脉畸形（AVM）10例，取得较好临床效果，现报告如下。 1.对象与方法 1.1基本资料 男6例，女4例；年龄14～62岁。病灶部位：枕叶5例，颞枕3例，额叶2例。首发
中科闻歌发布优雅多模态文生视频平台
8月19日，2024北京人工智能生态大会在北京举行。会上，中科闻歌董事长王磊发布了优雅（YoYa）多模态文生视频平台（以下简称YoYa）。YoYa针对视频内容生产的工业化需求，以及对齐人物、动作、情感、对话等元素的视频生成技术需求，以人工智能（AI）多模态技术，赋能视频内容创作全链路。据介绍，依托中
全面叫板OpenAI！谷歌发布多模态大模型全家桶：从AI助手到文生视频模型
被OpenAI抢先一天后，科技巨头谷歌不甘示弱，推出了自己的最新多模态AI（人工智能）产品。当地时间5月14日，在谷歌I/O开发者大会上的主题演讲中，谷歌展示了由升级后Gemini模型驱动的AI助手项目Project Astra、对标Sora的文生视频模型Veo，以及在硬件方面发布的第六代Tenso
计算机学会像人脑一样“听话”了
在通勤的地铁上、嘈杂的餐厅里，广播声、音乐声、周围人说话声，似乎都不会妨碍你与同伴进行交流。而这，就是大脑在处理声音信息时发挥的特殊优势——它可以将注意力集中在感兴趣的对话或声音上，忽略其他无关的声音或者噪音。其实，早在70多年前，神经科学家就注意到大脑的这种神奇能力，并将其称为“鸡尾酒会效应”。“
多模态文本智能技术助力AI实现智能推理
随着人工智能（AI）深入各行各业，多模态大模型正在成为AI发展的重要方向之一。近日，第八届中国模式识别与计算机视觉学术会议（PRCV 2025）在上海召开，“多模态文本智能大模型前沿技术与应用”论坛同期举办。来自华南理工大学、哈尔滨工业大学、南开大学、华中科技大学、小红书及合合信息技术团队的专家与学
“能打字就能做视频”，智象多模态大模型升级
12月28日，安徽人工智能产业先导区启动活动在合肥举行，智象未来科技有限公司（以下简称智象未来）作为安徽人工智能产业先导区的零号入驻企业正式落地合肥。活动现场，智象未来正式发布智象多模态生成大模型3.0版。梅涛介绍智象多模态生成大模型3.0 主办方 供图“智象多模态生成大模型3.0版全面升级图像和
传统方法－vs－脑启发AI：谁更胜一筹？
大型AI系统能力不断提升，却在教学与运行中都极其耗能；人脑则截然不同，仅需约20瓦，却能在线学习、即时适应变化，而训练一个大语言模型往往消耗兆瓦级电力与海量数据。奥地利格拉茨技术大学（Graz University of Technology）联合国际伙伴，开发出一种受脑启发的新型AI模型，能灵活
多模态AI系统实现肺部感染性疾病精准诊疗
近日，四川大学华西医院呼吸与危重症医学科教授李为民、研究员王成弟团队在《创新》上发表了最新研究论文，创新性开发了多模态融合模型，即Multimodal Integration，MMI模型，利用临床文本、影像图像、检验指标等多维度信息，实现肺部感染性疾病及病原类型精准预测，及时对危重症进行预警干预。不
学者提出融合多模态数据的荔枝霜疫霉病预测模型
近日，华南农业大学电子工程学院（人工智能学院）高级实验师陆健强课题组首次提出了融合多模态数据的荔枝霜疫霉病预测模型，为荔枝霜疫霉病的精准预测提供了新的研究思路与方法。相关成果发表于《IEEE物联网期刊》（IEEE Internet of Things Journal）。荔枝是我国南方的重要经济作物，
多模态融合方法划分质谱成像数据感兴趣区域
原文地址：http://news.sciencenet.cn/htmlnews/2023/4/498367.shtm4月11日，中国科学院深圳先进技术研究院医工所传感中心罗茜团队在质谱成像数据分析领域获得重要进展，成功开发了一种多模态融合验证的空间分割新方法，可以准确可靠地确定质谱成像数据的感兴趣区
智源推出生物智能开源开放平台支撑脑智能研究
近日，北京智源人工智能研究院推出了“生物智能开源开放平台”。该平台由智源首席科学家、清华大学教授刘嘉在内的多名智源“人工智能的认知神经基础”重大研究方向科学家团队联合发起，并由该研究方向博士后团队与工程师共同参与建设。 据介绍，近年来人工智能和脑科学的交叉融合，成为探索智能本质的极佳推手。但即
多尺度神经可塑性调制机制启发的类脑连续学习
原文地址：http://news.sciencenet.cn/htmlnews/2023/8/507316.shtm 人工智能迫切需要借鉴生物系统中的微观、介观、宏观等多尺度神经可塑性融合计算机制，以便启发实现更加高效的类脑连续学习算法，消除人工神经网络由于采用反向传播（Backpropagat
多尺度神经可塑性调制机制启发的类脑连续学习
人工智能迫切需要借鉴生物系统中的微观、介观、宏观等多尺度神经可塑性融合计算机制，以便启发实现更加高效的类脑连续学习算法，消除人工神经网络由于采用反向传播（Backpropagation, BP）等人工学习方法而导致的广泛灾难性遗忘现象。生物系统中常见的多巴胺、5-羟色胺、血清素、去甲肾上腺素等神
“紫东太初”全模态大模型开启AGI新路径
原文地址：http://news.sciencenet.cn/htmlnews/2023/5/500126.shtm“‘紫东太初’2.0全模态大模型可融入3D、视频、传感信号等更多模态数据，并优化语音、视频和文本的融合认知及常识计算等功能，进一步突破感知、认知和决策的交互屏障。”5月6日，在华为昇腾
中科院自动化所打造“紫东太初”全模态大模型
原文地址：http://news.sciencenet.cn/htmlnews/2023/5/500062.shtm 中新网北京5月6日电 (记者 孙自法)中国科学院自动化研究所(中科院自动化所)6日发布消息说，该所以其多模态大模型“紫东太初”1.0为基础，目前正在和武汉人工智能研究院联合打造全
多模态神经导航辅助下手术切除脑运动区胶质瘤诊疗分析
1.病例资料 女，31岁，因检查发现右侧额叶占位半年入院。入院体格检查未见阳性体征。头颅MRI显示右侧额上回肥大、皮髓质层次破坏，累及中央前回；T1WI呈低信号，T2WI呈稍高信号，增强后无明显强化；病灶大小约为7.5 mm×5.5 mm（图1A）。磁共振弥散张量成像显示大脑皮质脊髓束未见纤维束
OpenAI再出王炸，视频生成大模型Sora备受关注
人工智能（AI）领域的巨头OpenAI再次引发关注，其最新推出的视频生成大模型Sora因其出色的逼真度和想象力广受赞誉。相较于传统视频生成领域的平均4秒长度，Sora能够生成长达60秒的视频，这一创新无疑颠覆了行业的常规。 据OpenAI官网介绍，Sora是一种扩散模型，其生成视频的过程从看似
基于昇腾AI的紫东.太初凭何脱颖而出？
9月1日，2022世界人工智能大会最高大奖SAIL（Super AI Leader，卓越人工智能引领者）尘埃落定。 三模态人工智能大模型“紫东.太初”在800多个角逐者中脱颖而出一举夺魁。此前数周，在济南举行的首届中国算力大会上，“紫东.太初”同样表现稳健，抱回“DC Tech创新先锋”奖杯。
为“看清”脑病变打造“感智融”一体化链条
“我们将面向具体诊疗需求，协同磁共振成像技术、智能计算、多模态融合，形成‘感-智-融’一体化技术全链条，助力我国大脑重疾精准检查、诊断、康复全流程。”近日，在国家重点研发计划“生物与信息融合（BT与IT融合）”重点专项“人体组织结构功能特征无创检测和信息提取的关键技术”项目启动会上，该项目负责人、天
科研人员提出高效时空多模态图神经网络
近日，中国科学院合肥物质科学研究院团队提出了高效时空多模态图神经网络（ET_MGNN）新型深度学习框架，提升了阿尔茨海默病和自闭症谱系障碍等脑疾病的自动诊断准确率。理解大脑的复杂活动需同时关注功能协调和结构解剖。然而，现有的脑网络学习模型在处理动态建模和多模态信息融合方面存在局限。为克服这些挑战，研
对标Sora，快手发布文生视频大模型“可灵”
近日，国内头部短视频平台“快手”发布了首个“Sora级”的文生视频大模型“可灵”，并宣布面向用户开放。据快手方面介绍，可灵大模型为快手AI团队自研，采用与Sora相似的技术路线，并结合多项自研技术，能够生成大幅度的合理运动、能够模拟物理世界特性、具备强大的概念组合能力和想象力，效果对标Sora。其生
百度“2022十大科技前沿发明”发布
9月20日，百度发布“2022十大科技前沿发明”，披露其高价值ZL成果。ZL显示，百度多项人工智能、自动驾驶ZL技术处于领先地位。这10项科技前沿发明依次为：跨模态通用可控人工智能内容生成（AIGC）、无人车多传感器融合处理系统、知识增强大模型、深度学习通用异构参数服务器架构、基于AI的生物计算平台
类脑信息处理研究取得进展
近期，中国科学院自动化研究所类脑智能研究中心类脑信息处理（BRAVE）研究组，在研究员张兆翔的带领下，在借鉴生物神经结构、认知机制与学习特性的神经网络建模与类人学习研究中取得了一系列突破性进展。该研究组在“视听模态的生成、融合”以及“智能体之间的知识迁移”取得了重大突破，系列成果发表在AAAI
AI视频生成模型Sora来了
原文地址：http://news.sciencenet.cn/htmlnews/2024/2/517625.shtm
清华类脑计算模型登Nature子刊，受大脑启发的人工树突网络，实现高能效AI
5 月 30 日，清华大学类脑计算研究中心施路平团队，研发出全球首款类脑互补视觉芯片「天眸芯」，研究成果登上 Nature 封面。 近日，该团队推出一种新的神经形态计算架构，即类脑神经计算模型 「Dendristor」。 「Dendristor」旨在复制突触的组织（即神经元之间的连接）和树突
科研团队实现PETMR双模态全脑区自动分割技术
记者从中国科学院深圳先进技术研究院了解到，近日，该院医学成像科学与技术系统全国重点实验室研究员胡战利团队，开发了一种基于交叉融合机制的PET-MR双模态全脑区自动分割技术，该方法在分割过程中高效整合PET与MR的功能和结构信息，实现了更精确、更全面的脑区分割，为医学影像分析和神经系统疾病的诊断提供了
全球首创多模态肿瘤治疗系统发布
原文地址：http://news.sciencenet.cn/htmlnews/2023/7/504937.shtm
“多模态”技术助推图像内容安全建设
原文地址：http://news.sciencenet.cn/htmlnews/2023/10/510589.shtm
新研究－创新多模态联邦学习框架
记者5月4日从天津理工大学获悉，该校计算机科学与工程学院副教授亓帆及其研究生李帅，针对多模态联邦学习中常见的模态不兼容问题展开深入研究，提出了一种创新的自适应超图聚合的多模态联邦学习框架。近日，该成果论文被计算机视觉和人工智能领域国际公认的顶级会议CVPR 2024录用。据介绍，现有联邦学习方法只会