人工神经网络是模拟人脑神经活动的重要模式识别工具,备受关注。近年来,深度神经网络(Deep Neural Networks,DNN)的改进与优化工作集中于网络结构和损失函数的设计,而神经元模型的发展有限。神经生物学和认知神经科学的研究表明,神经元的学习能力是生物神经系统完成学习任务和记忆任务的重要基础。这些机理可促使科学家在神经元设计和优化方面进一步提高DNN的性能。
受生物认知机制的启发,中国科学院半导体研究所高速电路与神经网络实验室研究员李卫军团队,设计了具有高度柔性与可塑性的超香肠覆盖式神经元模型(HSCF neuron)(图1)。该研究定义了新的交叉熵和体积覆盖率损失函数。该损失函数可最大限度地压缩超香肠的体积,从而确保样本的类内紧凑性。该团队引入了一种分裂迭代方法,即将每个神经元模型视为一个弱分类器,并迭代增加弱分类器的数量。这一迭代方法可自适应地确定HSCF神经元的最优数量,形成了端到端的学习框架(图2)。该研究在模式识别领域的八个经典数据集上进行的对比实验和消融实验证明了这一方法的有效性。超香肠覆盖式神经元模型可应用于经典的DNN中以解决多种模式识别问题,颇具应用价值与学术价值。此外,该研究提出的方法证明了利用神经元可塑性增强DNN性能的可行性,为DNN的进一步发展提供了新视角。
近日,相关研究成果以Hyper-sausage coverage function neuron model and learning algorithm for image classification为题,发表在Pattern Recognition上,并入选期刊2023年Editors' Choice Paper。研究工作得到国家自然科学基金的支持。
论文链接
图1.超香肠覆盖式神经元模型及分类策略可视化表示
图2.基于超香肠覆盖式神经元模型的网络结构示意图
人工神经网络是模拟人脑神经活动的重要模式识别工具,备受关注。近年来,深度神经网络(DeepNeuralNetworks,DNN)的改进与优化工作集中于网络结构和损失函数的设计,而神经元模型的发展有限。......
人工神经网络是模拟人脑神经活动的重要模式识别工具,备受关注。近年来,深度神经网络(DeepNeuralNetworks,DNN)的改进与优化工作集中于网络结构和损失函数的设计,而神经元模型的发展有限。......
神经元能通过一种称之为神经递质的化学信号来彼此交流沟通,近日,一篇发表在国际杂志Nature上题为“Mechanismsofneurotransmittertransportanddruginhibi......
德国明斯特大学、英国埃克塞特大学和牛津大学联合团队现已开发出一种所谓的基于事件的架构,该架构使用光子处理器,通过光来传输和处理数据。与大脑类似,这使得神经网络内的连接不断适应成为可能。这种可变的连接是......
在一项新的研究中,来自日本九州大学的研究人员发现将大脑中称为小胶质细胞的免疫细胞直接转化为神经元可成功恢复小鼠中风样损伤后的大脑功能。这一发现表明,利用免疫细胞补充神经元可能是治疗人类中风的一条很有前......
近日,瑞士洛桑联邦理工学院(EPFL)、加州大学洛杉矶分校(UCLA)和哈佛大学医学院的研究团队在国际顶尖学术期刊Science上发表了题为:Recoveryofwalkingafterparalys......
扁形动物只有差不多一粒沙那么大,以一些浅海岩石表面的藻类和微生物为食。它简单到没有任何身体部位或器官。然而,西班牙巴塞罗那基因组调控中心研究人员在最新一期《细胞》杂志上发表论文称,在这些独特而古老的海......
脓毒症脑病是指非中枢神经系统感染的脓毒症引起的弥漫性脑功能障碍,是脓毒症最严重的并发症之一,特征表现为认知功能和意识状态的改变,包括注意力下降、昏睡、谵妄和情绪异常等。既往研究发现,单胺类神经递质紊乱......
据发表在最新一期《科学》杂志上的一项研究,一种通过血管输送的超小型、超柔韧的电子神经植入物可记录大鼠大脑深处的单个神经元活动。这项技术可作为与大脑深部区域的长期、微创生物电子接口。脑机接口(BMI)可......
冬眠是一种特殊的生理状态和生存策略。在冬眠状态中,哺乳动物如熊和一些啮齿类动物通过抑制新陈代谢、降低体温和减缓其他生理过程以节约能量,来应对致命的环境压力。最新研究发现,冬眠状态受大脑控制,而大脑则充......