功耗毫瓦级！基于注意力机制的类脑芯片问世

人脑能够运行复杂且庞大的神经网络，总功耗却仅约20瓦，远小于现有的人工智能系统。因此，在算力比拼加速、能耗日益攀升的今天，借鉴人脑的低功耗特性发展新型智能计算系统成为极具潜力的方向。 

近日，中国科学院自动化研究所李国齐、徐波课题组与时识科技公司等单位合作设计了一套能够实现动态计算的算法—软件—硬件协同设计的类脑神经形态SOC（System on Chip，系统级芯片）“Speck”，展示了类脑神经形态计算在融合高抽象层次大脑机制时的天然优势，相关研究在线发表于《自然·通讯》。 

该研究提出了“神经形态动态计算”的概念，设计了一种类脑神经形态芯片“Speck”，来实现基于注意力机制的动态计算。该芯片在硬件层面做到“没有输入，没有功耗”，在算法层面做到“有输入时，根据输入重要性程度动态调整计算”，从而在典型视觉场景任务功耗可低至0.7毫瓦，进一步挖掘了神经形态计算在性能和能效上的潜力。

人脑的注意力机制示意图。自动化所 供图

Speck是一款异步感算一体类脑神经形态SoC，采用全异步设计，在一块芯片上集成了动态视觉传感器（DVS相机）和类脑神经形态芯片，具有极低的静息功耗（仅为0.42毫瓦）。Speck能够以微秒级的时间分辨率感知视觉信息，并以全异步方式设计替代了全局时钟控制信号，避免时钟空翻带来的能耗开销，仅在有事件输入时才触发稀疏加法运算。 

针对脉冲神经网络（SNN）在更高层面，比如时间维度中不能根据输入难易度调整其脉冲发放等“动态失衡”问题，该研究基于注意力机制的神经形态脉冲动态计算框架，在多种粒度上实现对不同的输入进行有区分地动态响应；同时Speck软件工具链Sinabs编程框架支持动态计算SNN算法训练和部署。实验结果表明，注意力机制可使得SNN具备动态计算能力，即根据输入难易度调整其脉冲发放模式解决“动态失衡”问题，在显著降低功耗的同时，提升任务性能。在DVS128 Gesture数据集上，融合脉冲动态计算的Speck在任务精度提升9%的同时，平均功耗由9.5毫瓦降低至3.8毫瓦。  

该工作的实践证实，高、低抽象层次大脑机制的融合能进一步激发类脑计算潜力，这为以后将大脑进化过程中产生的各种高级神经机制融合至神经形态计算提供了积极启发。 

相关工作得到了国家杰出青年科学基金、北京市杰出青年基金、国家自然科学基金委重点项目、区域创新联合重点项目等项目的支持。 

相关论文信息：https://www.nature.com/articles/s41467-024-47811-6