发布时间:2019-01-08 10:32 原文链接: 我国学者提出基于正则化流的多尺度神经网络架构

  重正化群是物理学研究中的一个基本概念。它不仅是研究相变与临界现象以及强耦合问题的有力工具,更塑造了物理学家的世界观:物理学是关于不同尺度和能标下演生现象(Emergent Phenomena)的有效理论。

  人们在深度学习的应用实践中观察到,深层神经网络具有逐层提取特征的能力。处于网络深层的神经元往往对应于抽象而独立的演生概念。如何充分理解并创造性地利用神经网络的这一特性,是深度学习的核心问题之一,称为表示学习(Representation Learning)。开展表示学习和重正化群理论的交叉研究,一方面有助于揭示深层神经网络的工作原理,另一方面可将成功的深度学习技术应用于求解物理问题。

正则化流实现了物理变量和隐变量之间的可逆映射

  最近,中国科学院物理研究所/北京凝聚态物理国家研究中心凝聚态理论与材料计算重点实验室王磊副研究员提出了一类基于正则化流(Normalizing Flows)的多尺度神经网络架构。这类网络将微观物理构型的概率分布映射到隐变量空间的近高斯分布。相反的,由于网络的可逆性,也可以从高斯噪声出发直接生成可能的物理构型。作者从物理问题的裸作用量出发,利用变分原理端对端地训练网络。为了充分发挥表示学习的能力,他们进一步提出隐变量空间的哈密顿蒙特卡罗更新算法。这个神经网络的结构设计受到了量子多体物理研究中的多尺度纠缠重正化张量网络(Multiscale Entanglement Renormalization Ansatz, 即MERA)的启发。在数学上,神经网络重正化群相当于自适应地寻找降低变量之间互信息(Mutual Information)的非线性小波变换。

  流向隐变量空间的正则化流有助于自动识别集体变量和有效理论,预计可以在统计物理、场论以及第一性原理分子动力学研究中发挥作用。此外,可逆的重正化流恰好契合重正化群理论的现代发展:保信息的全息重正化。因此,神经网络重正化群也为研究全息对偶原理(Holographic Duality Principle)提供了新途径。该工作于近期发表于Physical Review Letters杂志(Phys. Rev. Lett. 121, 260601 (2018))。

  此工作受到科技部(2016YFA0300603)和国家自然科学基金委(11774398)的资助。

相关文章

类脑神经网络赋能无人机集群涌现自组织避障行为

近日,中国科学院自动化研究所研究员曾毅团队借鉴自然界中群体智能的去中心化、自组织的行为机制,提出了一种无人机集群的自组织生存避障模型。相关研究成果发表于细胞出版社旗下期刊《模式》(Patterns)。......

神经网络打开理解电子相互作用新窗口

据9日《科学》杂志发表的一篇论文,著名的人工智能企业“深度思维”的新研究表明,神经网络可用于构建比以前更准确的电子密度和相互作用图。该研究有助于科学家更好地理解将分子结合在一起的电子之间的相互作用,还......

神经网络打开理解电子相互作用新窗口

据9日《科学》杂志发表的一篇论文,著名的人工智能企业“深度思维”的新研究表明,神经网络可用于构建比以前更准确的电子密度和相互作用图。该研究有助于科学家更好地理解将分子结合在一起的电子之间的相互作用,还......

我国学者在发展高精度神经网络力场新方法方面取得进展

在国家自然科学基金项目(批准号:22073089、22033007)等资助下,中国科学技术大学蒋彬教授课题组基于量子化学中“原子轨道线性组合”的概念发展了一种高精度机器学习力场方法,该方法有望极大提升......

宇宙神经网络:高度相似的神经网络与宇宙星系

一项最新的研究表明人类大脑神经元网络和宇宙的星系网络之间存在惊人的结构相似性!这项研究结果由意大利天体物理学家FrancoVazza和神经外科医生AlbertoFeletti以题为“TheQuanti......

神经网络创造可行性芯片

英国《自然》杂志9日发表一项人工智能突破性成就,美国科学家团队报告机器学习工具已可以极大地加速计算机芯片设计。研究显示,该方法能给出可行的芯片设计,且芯片性能不亚于人类工程师的设计,而整个设计过程只要......

全线性的电流诱导多态自旋轨道耦合磁性存储器件研究

近期,中国科学院微电子研究所集成电路先导工艺研发中心研究员罗军课题组与中科院半导体研究所研究员王开友课题组合作,研制出全线性的电流诱导多态自旋轨道耦合(SOT)磁性存储器件,并实现了低能耗、可编辑的突......

提出神经网络构建非绝热势能面新方法

  神经网络构建非绝热势能面 课题组供图  近日,中科院大连化学物理研究所分子反应动力学国家重点实验室傅碧娜研究员、张东辉院士团队在化学反应的非绝热势......

大连化物所提出神经网络构建非绝热势能面的新方法

近日,中国科学院大连化学物理研究所分子反应动力学国家重点实验室研究员傅碧娜、中科院院士张东辉团队,在化学反应的非绝热势能面构建中取得进展,提出一种新的神经网络方法构建包含锥形交叉的非绝热势能面。在物理......

刘明团队和杨建华团队在类脑感知计算领域获进展

当前,人类社会正由信息化向智能化发展。智能化社会的构建需要信息技术系统能够对外界环境信息进行实时获取、高效处理并及时做出决策。发展“感存算一体化”的低功耗智能信息处理系统是其重要趋势。脉冲神经网络作为......