发布时间:2021-01-11 11:01 原文链接: 热烈祝贺!华人学者Nature上发表最新成果

  人工神经网络广泛应用于人脸识别、语音翻译、医疗诊断、自动驾驶等重要领域,其性能主要由硬件算力决定,目前所广泛应用的神经网络硬件都基于数字电子架构。然而,该架构的两个本质局限—冯诺曼依瓶颈与电子速率瓶颈,极大限制了神经网络硬件的潜在算力。首先,数字架构中,数据的存储和运算是分布式的,因而在计算过程中,会有大量的能源和算力消耗在数据的反复读取和存储中,此限制被称为冯诺曼依瓶颈。其次,由于电子微处理器中的寄生电容和互联时延问题,电子系统存在着本质的带宽限制,导致电子微处理器的主频事实上在过去十年已没有明显提升,此限制也被称为电子速率瓶颈。

图源:长春光机所,Light学术出版中心,新媒体工作组

  光子神经网络工作于模拟架构中,即数据在硬件系统中的实时位置与进行运算的位置相同,因而规避了冯诺曼依瓶颈。此外,宽达数十太赫兹的光谱也为高速运算提供了充足的带宽。目前已有来自加州大学、麻省理工学院、明斯特大学等单位的研究团队做出了一系列在网络尺度、可集成性、片上存储等方面的突破,然而尚未能实现较高运算速度与高维数据处理能力,光子神经网络的超高运算潜力尚未得到证实。

  近日,澳大利亚研究人员徐兴元博士(莫纳什大学)、谭朦曦博士、David Moss教授(斯文本科技大学)、Arnan Mitchell教授(皇家墨尔本理工大学)等首次提出并实现了基于波长、时间交织的光子卷积加速器。该文章以" 11 TOPS photonic convolutional accelerator for optical neural networks"为题发表在Nature。

封面图 徐兴元博士(莫纳什大学)展示集成克尔光频梳芯片

  研究人员通过采用集成高品质因素、高非线性微环与波导色散调控,实现了高相干度、易于产生的集成克尔孤子晶体光频梳。

  研究人员将该光频梳进行频域整形并且与高速光电调制相结合,实现了输入数据在并行波长通道上的组播与加权,然后采用光学色散介质作为缓存,对组播信号进行了步进延时(步长为单个码元时长),从而在时域上对齐了不同波长通道中需要加权求和的码元,最后通过光电转换实现处理结果的高速实时读取(如图1所示)。通过这一系列步骤,波长构架的卷积窗口(感知域)即可在时域以超过60GBaud的速率滑动,结合克尔光频梳所实现的高并行度(C波段90个波长通道),实现了11 TOPS(太运算每秒)的运算速度,即每秒可完成11万亿次运算。

图1 卷积加速器工作原理

  通过这一系列步骤,数学模型抽象的神经元突触就被光频梳在实际物理系统中实现,其中突触连接的权重由光频梳的光功率体现。最终实验验证了高维图片处理(实验结果如图2所示)以及深度学习光子卷积神经网络(实验结果如图3所示)。

图2 卷积图像处理结果

  在国际相关研究成果的基础上实现了数个突破,包括:

  1. 由于集成克尔光频梳所提供的大量波长通道,运算速度首次突破到11 TOPS以上;

  2. 首次实现了利用光学手段进行高维数据处理(25万像素点),为光子神经网络的进一步实际应用如人脸识别等展现了可能;

  3. 实现了500张MINIST手写数字图片的高速分类预测,准确率达到88%以上;

  4. 实现了具备高速光电接口的硬件加速器,速度可达64G Baud以上,并且可与现有电子或者光学硬件兼容互联;

  5. 结合应用了集成克尔光频梳,为实现光子神经网络的单片集成奠定了基础。

  图3 卷积神经网络50张手写数字识别结果。

  上图为全连接层神经元输出幅度,下图为混淆矩阵。

  图源:Nature 589, 44–51 (2021). Fig 6

  后续,研究人员将继续优化本方案的性能指标,如处理速度、并行度、体积与可集成性、功耗等。本工作实验证明了光子神经网络硬件的运算潜力,并且具有高速光电接口,未来可作为通用卷积特征提取前端与其他光电模数架构互联,在卷积神经网络中可承担70%以上的运算负荷,大幅提升系统整体算力,在未来实时人工智能应用场景如无人驾驶、医疗诊断等方面有重要应用。

  文章作者(一作)简介

  徐兴元,莫纳什大学博士后,斯文本科技大学博士(2020,导师为David Moss教授)。主要研究光子神经网络、克尔光频梳、微波光子学。

  截止至目前为止,发表学术论文100余篇;在光学领域权威期刊如Nature, Nature Communications、Laser & Photonics Reviews等发表期刊论文28篇,包括第一作者论文17篇;在顶级国际会议包括CLEO, OFC等共发表会议论文80篇以上。已发表论文近三年内引用次数累计2000次以上, H指数26(据谷歌学术统计)。

  于2019年获得年度IEEE光子学会博士奖学金(全球每年十名);于2020年被澳大利亚全国性新闻刊物《The Australian》评选为Rising Stars,该奖项针对全澳工作十年之内的青年科研人员,在数学物理方向共有5人入选。

  文章信息

  Xu, X., Tan, M., Corcoran, B. et al. 11 TOPS photonic convolutional accelerator for optical neural networks. Nature589, 44–51 (2021).

  文章地址

  https://doi.org/10.1038/s41586-020-03063-0


相关文章

Nature发布2024年值得关注的七大技术,首位中国科学家成果入选

2024年1月22日,《自然》发布了2024年值得关注的七大技术——大片段DNA插入、人工智能设计蛋白质、脑机接口、细胞图谱、超高分辨率显微成像、3D打印纳米材料和DeepFake检测。七大技术中,生......

北京大学合作最新Nature

钙钛矿太阳能电池(PSCs)由一个固体钙钛矿吸收体夹在几层不同的电荷选择材料之间,确保设备的单向电流流动和高压输出在p型/intrinsic/n型(p-i-n)PSCs(也称为倒置PSCs)中,电子选......

零下273.056摄氏度我国科学家Nature发文实现无液氦极低温制冷

大约一个世纪前,人类首次将氦气液化,开启了利用液氦进行极低温制冷的新纪元。随后,极低温制冷技术被广泛应用于大科学装置、深空探测、材料科学、量子计算等国家安全和战略高技术领域。然而,用于极低温制冷的氦元......

回顾:2023年Nature\Science上的锂电池成果

2023年Nature上的电池文章汇总1.固态电解质最新成果登上Science日本东京工业大学创新研究所全固态电池研究中心RyojiKanno教授团队利用高熵材料的特性,通过增加已知锂超离子导体的组成......

改善催化剂稳定性成果登上NatureCatalysis

Fe-N-C催化剂是一种具有非铂族金属(PGM-free)的氧还原催化剂,可替代在酸性环境中Pt用于氢质子交换膜燃料电池(PEMFCs)的阴极氧还原反应(ORR)。然而,在过去的几十年里,由于对活性位......

Nature发布2024年值得关注的科学事件,涉及环境、生命科学、AI、天文学

12月18日,《Nature》发布了2024年值得关注的科学事件。   人工智能的进步ChatGPT的兴起对今年的科学产生了深远的影响。它的创建者,位于加利福尼亚州旧金山......

破纪录|Nature:今年撤稿数量超1万篇,超八成来自这家出版社

12月12日,Nature发布一篇新闻报道:今年被撤回的文章数量急剧上升,截至2023年底撤稿数量已超过1万篇,打破年度撤稿记录。专家表示,这只是冰山一角。由于各出版商正着力于清除大量存在的虚假和同行......

纳米技术的重大飞跃,这种神奇材料再登Nature

2004年,英国曼彻斯特大学的两位科学家安德烈·盖姆(AndreGeim)和康斯坦丁·诺沃消洛夫(KonstantinNovoselov)发现他们能用一种非常简单的方法得到越来越薄的石墨薄片。他们从高......

Nature钙钛矿领域最新综述:可持续能源正在来临,钙钛矿串联电池争夺霸权

导语:在太阳能领域,一场革命正酝酿。钙钛矿技术的崛起引领着一系列对太阳能电池的全新探索,特别是其串联结构的出现。这意味着不仅仅是硅,太阳能电池的未来可能由更为创新和高效的钙钛矿-硅串联电池来主导。本文......

科研人员必看!Nature发出最新警告:AI人工智能对科学探索存在隐藏的危机

    导读:12月5日Nature发表的新闻评论,关于使用AI的许多论文的有效性或可靠性存在许多潜在问题,但目前尚不清楚基于AI的科学文献中的错误或不可靠的发......