多尺度神经可塑性调制机制启发的类脑连续学习

　　人工智能迫切需要借鉴生物系统中的微观、介观、宏观等多尺度神经可塑性融合计算机制，以便启发实现更加高效的类脑连续学习算法，消除人工神经网络由于采用反向传播（Backpropagation, BP）等人工学习方法而导致的广泛灾难性遗忘现象。生物系统中常见的多巴胺、5-羟色胺、血清素、去甲肾上腺素等神经调质物，往往经由特定的腺体释放（图1A），并远程弥散、投射到一定范围内的目标神经元群体，且根据调质浓度水平的不同，对局部的神经元、突触等多种微观可塑性产生复杂的调制影响（图1B）。

　　图1：大脑中的神经调制。（A）四种神经调质及其通路。（B）非线性神经调制。（C）神经调制多样化局部可塑性

　　受到该生物神经调制机制的启发，中国科学院自动化研究所徐波研究员团队联合中国科学院脑科学与智能技术卓越创新中心蒲慕明院士、临港实验室李澄宇研究员等，通过建模多巴胺、乙酰胆碱等全局神经调制可塑性（Neuromodulation Plasticity）、局部时序依赖可塑性（Spike Timing-Dependent Plasticity, STDP）等多尺度神经可塑性机制，整合得到一种基于神经调制依赖可塑性的新型类脑学习方法（Neuromodulation-Assisted Credit Assignment，NACA）。该方法参考了大脑中复杂的神经调制通路结构，并以期望矩阵编码的形式对神经调制通路构建数学模型（图2A），在接受刺激信号后产生不同浓度的多巴胺监督信号并进一步影响局部突触和神经元可塑性类型（图2B）。NACA支持采用纯前馈的流式学习方法训练脉冲（Spiking Neural Network, SNN）和人工（Artificial Neural Network, ANN）神经网络（图2D,E），通过全局多巴胺的弥散支持与输入信号同步，甚至先于输入信号的正向信息传播，再加上选择性的对STDP的调整，使得NACA表现出明显的快速收敛和缓解灾难性遗忘优势。

　　图2：NACA计算模型。（A）神经调制通路建模和群体期望编码。（B）多类局部可塑性。（C-E）NACA算法整体流程及在SNN和ANN中发挥作用

　　在两类典型的图片和语音模式识别任务中，研究团队从准确率和计算成本两方面对NACA算法进行了评估，并在SNN中选取了E-prop 和BRP 两种全局学习算法作为对比，在ANN中则以TP（Target Propagation）和BP算法作为对比对象。在图片分类（MNIST）和语音识别（TIDigits）标准数据集上，NACA都实现了更高的分类精度（约1.92%）和更低学习能耗（约98%）。在验证了静态分类任务的拟合能力后，研究团队重点测试NACA算法在Class-CL上的连续学习能力，并将神经调制扩充到神经元可塑性范围（图3A,B）。在五大类的连续学习任务中（包括连续MNIST手写数字、连续Alphabet手写字母、连续MathGreek手写数学符号、连续Cifar-10自然图片、连续DvsGesture动态手势），NACA算法相对BP和EWC算法，具有更低的能耗且发现可以极大地缓解灾难性遗忘问题（图3C-G）。

　　图3：NACA算法在Class-CL任务中的表现。（A,B）神经调制同时影响局部神经元和突触可塑性。（C-G）NACA与EWC、BP等性能对比

　　研究人员认为，NACA是一类生物合理的全局优化算法，这种采用宏观可塑性来进一步“调制”局部可塑性，可以视为一种“可塑性的可塑性”（Plasticity of Plasticity）方法，与“学会学习”、“元学习”（Learn to Learn）等有直观上的功能一致性。该算法同时在SNN和ANN的优化问题中获得了性能和计算成本上的优势，更在连续学习这一更贴合生物生存环境和实际应用场景的动态任务范式下发挥重要作用，这些纯前馈学习、低训练能耗、支持动态连续学习等综合特征，也将有望进一步引导新型类脑芯片的设计。

　　中国科学院自动化研究所张铁林副研究员为第一作者，徐波研究员为通讯作者，程翔、贾顺程、中国科学院脑智卓越中心蒲慕明院士和临港实验室李澄宇研究员为本文共同作者。相关研究工作得到了中国科学院战略先导专项A项目、上海市科技重大专项、临港实验室专项、中国科学院青促会项目等支持。该研究论文以A brain-inspired algorithm that mitigates catastrophic forgetting of artificial and spiking neural networks with low computational cost为题已在线发表于《科学》旗下期刊《科学进展》（Science Advances）。