为何强化既有神经连接的学习机制引发关注?

大脑究竟如何学习 大脑靠什么学习?是不断新建神经通路,还是强化既有的连接?以色列巴伊兰大学(Bar-Ilan University)的一项新研究支持后者:学习主要由既有神经连接强度的改变驱动,而非靠扩展大脑底层的“架构”。该研究由物理系与 Gonda 多学科脑研究中心的 Ido Kanter 教授团队完成,发表于《Physica A》。 案例:人工神经网络中的反直觉发现 研究团队在语言学习任务上训练人工神经网络,并随训练数据量增加观察其表现。随着数据变多,模型学得明显更好;但出人意料的是,即便性能提升,网络仍能丢失大致相同比例的突触连接而不出现有意义的性能下降。换言之,更好的学习并不依赖建造更复杂的网络,而是来自既有组件之间更有效的“协作”。 论文第一作者、巴伊兰大学硕士生 Yanir Harel 说:“这一发现在生物脑的背景下尤为有趣,因为生物脑的神经元数量大致恒定。”他还指出,目前没有任何证据表明,存在能在日常学习中大规......阅读全文

科学家构建深度脉冲神经网络学习框架

  脉冲神经网络(Spiking Neural Network,SNN)被誉为第三代神经网络,使用更低层次的生物神经系统的抽象。它既是神经科学中研究大脑原理的基本工具,又因稀疏计算、事件驱动、超低功耗的特性,备受计算科学的关注。随着深度学习方法的引入,SNN的性能得到大幅提升,脉冲深度学习(Spik

深圳先进院提出忆阻器神经网络的高能效权重更新方案

  近日,中国科学院深圳先进技术研究院医工所医学人工智能研究中心的黄明强研究团队在基于忆阻器阵列的卷积神经网络的研究当中提出了硬件友好型的随机自适应学习方法。区别于具有复杂外围电路设计的梯度下降方法(SGD)和分段线性(PL)的传统方法,该方法具有良好的硬件友好特性和高能效特性。相关成果以Hardw

为何强化既有神经连接的学习机制引发关注?

大脑究竟如何学习 大脑靠什么学习?是不断新建神经通路,还是强化既有的连接?以色列巴伊兰大学(Bar-Ilan University)的一项新研究支持后者:学习主要由既有神经连接强度的改变驱动,而非靠扩展大脑底层的“架构”。该研究由物理系与 Gonda 多学科脑研究中心的 Ido Kanter 教

神经网络电活动调控抑制性突触稳态可塑性的分子机制

  12月1日,《神经科学杂志》以封面文章的形式发表了中科院上海生命科学研究院神经所树突发育与神经环路形成研究组的论文Postsynaptic spiking homeostatically induces cell-autonomous regulation of inhibitor

“自组织”让“电老虎”少吃多干

云计算、大数据、人工智能等技术的快速发展和广泛应用,让这些领域成了“电老虎”。新思界产业研究中心的《2021年全球及中国数据中心加速器产业深度研究报告》预测,到2025年,仅全球数据中心消耗的电能将占全球总发电量的五分之一。 近日,中科院脑智卓越中心研究员徐波、蒲慕明联合研究团队在线发表于《科学

新构建!深度脉冲神经网络学习框架“惊蜇”

中国科学院自动化所李国齐研究员和北京大学计算机学院田永鸿教授团队合作构建出深度脉冲神经网络学习框架“惊蜇”。它可以提供全栈式的脉冲深度学习解决方案,能够处理神经形态数据、构建深度脉冲神经网络、部署神经形态芯片。相关研究成果在线发表于《科学进展》杂志。图片来源:中国科学院自动化所脉冲神经网络被誉为第三

神经突触仿生器件研制成功

  记者日前从东北师范大学获悉,在国家自然科学基金及国家重大科学研究计划的资助下,该校刘益春研究组利用InGaZnO材料,构造了具有自主学习和记忆能力的神经突触仿生器件,在单一无机器件中实现了多种生物突触功能。相关成果发表在国际学术期刊《先进功能材料》上,并被选为标题页文章进行了重点报道。   据

中国科学家发现大脑神经突触删除机制

  浙江大学医学院神经科学研究所汪浩研究员和段树民院士合作研究发现,三磷酸腺苷(ATP)可以识别大脑中不需要的神经突触,在大脑中按下“删除键”。  该研究成果4月12日刊登在生命科学领域知名期刊《生命科学在线》(《eLife》)上。  一个健康的成年人的大脑中约有860亿个神经元,神经元之间接触的结

大脑神经元的自反馈机制启发更好的类脑人工智能

原文地址:http://news.sciencenet.cn/htmlnews/2022/9/486144.shtm 近日,中国科学院自动化研究所类脑智能研究中心研究员曾毅团队在《神经网络》上发表了一项新研究,研究将来自生物脑神经元自身反馈以及兴奋抑制性神经元平衡的启发,融入类脑脉冲神经网络的理

物理所制备基于二维层状氧化钼的全固态神经突触晶体管

  人类的大脑可以认为是一种高效的信息存储与计算系统,具有非常低的功耗(~ 20 W)。这主要源于人脑对信息处理的独特方式。人脑中存在大量的神经元,其相互连接构成复杂的神经元网络。每两个神经元的连接点称为突触,信息通过突触连接强度(即突触权重)的变化进行存储与计算。突触可塑性即是通过特定模式的突触活

湿地甲烷排放对二氧化碳浓度升高的响应方面取得进展

  近日,中国科学院自动化研究所曾毅研究员课题组提出基于FPGA的脉冲神经网络硬件加速器“智脉·萤火”(FireFly),并集成了针对FPGA器件特点的DSP运算优化策略和适配脉冲神经网络数据流模式的高效的突触权重和膜电压访存系统,在硬件上实现了脉冲神经网络的推理加速,推动了类脑脉冲神经网络迈向实用

自动化所研发出类脑脉冲神经网络加速器

  近日,中国科学院自动化研究所曾毅研究员课题组提出基于FPGA的脉冲神经网络硬件加速器“智脉·萤火”(FireFly),并集成了针对FPGA器件特点的DSP运算优化策略和适配脉冲神经网络数据流模式的高效的突触权重和膜电压访存系统,在硬件上实现了脉冲神经网络的推理加速,推动了类脑脉冲神经网络迈向实用

使AI更具生物合理性!科学家提出神经网络新策略

原文地址:http://news.sciencenet.cn/htmlnews/2023/9/509435.shtm近日,中国科学院自动化研究所研究员曾毅负责的类脑认知智能团队在美国《国家科学院院刊》(PNAS)上发表了一篇题为“脑启发神经环路演化赋能脉冲神经网络”的新研究。他们受“经过自然演化的生

半导体所新型感算器件研究获进展

  随着人工智能、物联网及智慧医疗等新型信息交互领域的发展,基于传统冯诺依曼架构的计算机系统以及工艺迭代带来的算力提升越来越难以满足数据处理及复杂神经网络模型运算的需求。神经形态器件作为一种模拟人脑的高效低功耗的信息处理模型,在信息处理方面具有天然优势。目前,以忆阻器为代表的人工突触器件广泛应用于神

人工智能神经网络创建虚拟动物模型

研究人员使用真实大鼠的运动数据创造的“虚拟大鼠”。图片来源:谷歌深度思维科技日报北京6月18日电 (记者张梦然)为探索大脑如何控制运动的奥秘,美国哈佛大学与谷歌深度思维实验室的科学家合作,创造出一个“虚拟大鼠”——生物力学上逼真的大鼠数字模型。这个“大鼠”有一个人造大脑,可像真正的啮齿动物一样四处走

人工智能神经网络创建虚拟动物模型

  为探索大脑如何控制运动的奥秘,美国哈佛大学与谷歌深度思维实验室的科学家合作,创造出一个“虚拟大鼠”——生物力学上逼真的大鼠数字模型。这个“大鼠”有一个人造大脑,可像真正的啮齿动物一样四处走动。该成果代表了一种人类研究大脑如何运作的新方法。相关论文发表在最新一期《自然》杂志上。  人类和动物的运动

模拟芯片大幅削减AI模型运行能耗

  模拟计算机芯片运行人工智能(AI)语音识别模型的效率是传统芯片的14倍,有可能为AI研究中巨大且不断增长的能源消耗以及全球范围内通用数字芯片短缺问题提供解决方案。  这一新产品由IBM Research开发,概述这项工作的论文发表于《自然》。研究人员声称,模拟芯片可以减少人工智能发展的障碍。  

向人脑学习,他们希望走通“0”到“0.1”

作为一名凝聚态物理学家,复旦大学微纳电子器件与量子计算机研究院院长沈健,十分擅长挖掘材料中新奇的特性:纳米磁性、自旋电子学、低维物理、复杂体系强关联效应......但多年的科研工作,也让沈健产生了一种割裂感。一方面,从石墨烯到纳米管,从钙钛矿到超导体,越来越多材料在实验室中涌现,但迈不出成果转化的“

人工突触可自主学习

  来自法国国家科学研究中心及其他研究组织的研究人员创造了一种能够自主学习的人工突触。他们还对该设备进行建模,这对于开发更复杂的脑回路至关重要。该研究4月3日在《自然—通讯》杂志上发表。  生物模拟学的目标之一是从大脑的功能中获得灵感,以便设计越来越多的智能机器。这一原则已经以完成特定任务的算法形式

我国学者以壳聚糖薄膜为材料成功研制ITO突触晶体管

  “人工智能(AI)”是在上世纪50年代提出的,经历了缓慢的发展时期。然而,自2016年“AlphaGo”问世以来,目前AI已经成为了全球的研究热点之一,备受关注。值得注意的是,现有的AI技术主要基于传统冯·诺依曼架构,需要采用较为复杂的计算机代码才能实现,其计算模块与存储模块相分离,因此其并行运

我国研制的ITO薄膜晶体管实现EPSC、PPF、STDP三种突触功能

  “人工智能(AI)”是在上世纪50年代提出的,经历了缓慢的发展时期。然而,自2016年“AlphaGo”问世以来,目前AI已经成为了全球的研究热点之一,备受关注。值得注意的是,现有的AI技术主要基于传统冯·诺依曼架构,需要采用较为复杂的计算机代码才能实现,其计算模块与存储模块相分离,因此其并行运

自动化所在类人连续学习及情境依赖学习方面取得进展

  中国科学院自动化研究所脑网络组研究中心与模式识别国家重点实验室团队提出正交权重修改算法,与情境信息处理模块相结合,使人工神经网络具备了强大的连续学习和情境依赖学习能力,有效解决灾难性遗忘等难题。相关成果已在线发表于Nature Machine Intelligence。  人工智能已成为21世纪

物理所在类神经突触晶体管和忆阻器研究中取得进展

  计算机作为人类科技发展的代表,在人们的日常生活中起着不可替代的作用。随着人类社会信息量的高速增长,计算机在运算速度提高的同时,对能源的消耗也在迅速增加。例如,我国的“天河二号”超级计算机(连续三次夺得世界超级计算机冠军),正常工作的功率高达20兆瓦,年耗电量约2亿度。相比之下,人脑是自然界中非常

《Cell》2018年度论文-三项中国学者成果入选

  Cell杂志创刊于1976年,现已成为世界自然科学研究领域最著名的期刊之一,并陆续发行了十几种姊妹刊,在各自专业领域里均占据着举足轻重的地位。近期Cell杂志公布了2018年年度论文,共包括五篇Snapshots,两篇Reviews,以及八篇Articles和Resources,其中共有3篇中国

中国科学家研究提出新型类脑学习方法

  记者29日从中国科学院自动化研究所获悉,该所徐波研究员团队联合科研同行最新研究提出一种基于神经调制依赖可塑性的新型类脑学习方法(NACA),实现更高分类精度和更低学习能耗,可极大缓解灾难性遗忘问题,有望进一步引导新型类脑芯片的设计。  这项人工智能(AI)领域类脑研究重要进展成果论文,由徐波研究

自适应神经连接光子处理器问世

  德国明斯特大学、英国埃克塞特大学和牛津大学联合团队现已开发出一种所谓的基于事件的架构,该架构使用光子处理器,通过光来传输和处理数据。与大脑类似,这使得神经网络内的连接不断适应成为可能。这种可变的连接是学习过程的基础。该研究发表在新一期《科学进展》杂志上。  现代计算机模型(例如复杂、强大的人工智

连接数千个人工神经元,自适应神经连接光子处理器问世

  德国明斯特大学、英国埃克塞特大学和牛津大学联合团队现已开发出一种所谓的基于事件的架构,该架构使用光子处理器,通过光来传输和处理数据。与大脑类似,这使得神经网络内的连接不断适应成为可能。这种可变的连接是学习过程的基础。该研究发表在新一期《科学进展》杂志上。  现代计算机模型(例如复杂、强大的人工智

9年“孕育”-类脑认知智能引擎“智脉”诞生

 曾毅团队 受访者供图近日,中国科学院自动化研究所类脑智能研究中心研究员曾毅团队发布了历时9年打造的全脉冲神经网络的类脑认知智能引擎“智脉”(Brain-inspired Cognitive Engine,以下简称BrainCog),并进行全面开源开放,助力自然智能的计算本质探索和新一代人工智能的发

通用AI,揭示心智的奥秘

  生命是智能的第一载体,在自然中已经有亿万年的进化历史。作为代表自然界拥有最通用智能的生物大脑,可以通过低功耗和少量后天数据就能实现比现有人工智能更加通用及实现复杂环境下复杂任务的智能行为。因此,探索生物大脑智能认知的底层机理和复杂行为背后的神经科学基础,对于探索智能的本质、揭示心智的奥秘,迈向未

类脑神经网络赋能无人机集群涌现自组织避障行为

近日,中国科学院自动化研究所研究员曾毅团队借鉴自然界中群体智能的去中心化、自组织的行为机制,提出了一种无人机集群的自组织生存避障模型。相关研究成果发表于细胞出版社旗下期刊《模式》(Patterns)。自然界中广泛存在着集群行为。自然界的集群行为表现出自组织、去中心化、分布式等特点,每个个体独立地具备