自动化所在类人连续学习及情境依赖学习方面取得进展

　　中国科学院自动化研究所脑网络组研究中心与模式识别国家重点实验室团队提出正交权重修改算法，与情境信息处理模块相结合，使人工神经网络具备了强大的连续学习和情境依赖学习能力，有效解决灾难性遗忘等难题。相关成果已在线发表于Nature Machine Intelligence。

　　人工智能已成为21世纪最具挑战性的前沿科学领域之一，但究竟什么是“智能”？可以确定的是，个体对复杂、动态环境的高适应性是智能的重要标志。

　　人类大脑显然是高环境适应性的典范。人不仅可以在新的环境中不断吸收新的知识，而且可以根据不同的环境灵活调整自己的行为。在此方面，深度神经网络（deep neural networks，DNN）与大脑相比存在着很大的差距。传统DNN一方面会受到“灾难性遗忘”问题的困扰，难以在学习新知识的同时保留旧知识，即缺少连续学习（continual learning）的能力；另一方面，DNN往往只能实现预先训练好的固定操作，不能对实际环境中存在情境信息（比如自身状态、环境变化、任务变化等）做出灵活的响应，难以满足复杂多变的需求，即缺少情境依赖学习（contextual-dependent learning）的能力。这两方面能力的缺失是制约当前DNN发展出高水平智能的重要瓶颈。

　　近日，自动化所脑网络组研究中心与模式识别国家重点实验室余山课题组在克服上述两个核心问题方面取得新进展，为提高人工智能系统对于复杂多变环境的适应性提出了新的思路和方案。在Continual Learning of Context-dependent Processing in Neural Networks 一文中，硕士生曾冠雄、博士后陈阳等提出了正交权重修改（orthogonal weights modification，OWM）算法和情境依赖处理（context-dependent processing，CDP）模块。OWM算法可以有效克服神经网络中的灾难性遗忘，实现连续学习；受大脑前额叶皮层启发的CDP模块可以有效整合情境信息，调制神经网络的信息处理过程。二者的有效结合，使人工神经网络具备了强大的连续学习和情境依赖学习的能力，大大增加了其灵活性和适应性。

　　OWM算法的核心思想为：在学习新任务时，只在旧任务输入空间正交的方向上修改神经网络权重。如此，权重增量几乎不与以往任务的输入发生作用，从而保证网络在新任务训练过程中搜索到的解，仍处在以往任务的解空间中。OWM通过正交投影算子P与误差反传算法得到的权重增量△WBP作用实现其目的，即最终的权重增量为△W=κP△WBP。

　　OWM算法实现了对网络中已有知识的有效保护，并可以与现有梯度反传算法完全兼容，在连续学习测试任务中表现出了良好的性能。在连续学习的标准任务disjoint MNIST与shuffled MNIST任务中，OWM算法的表现超过了同类的其他算法。并且，随着学习的任务数目增加，OWM算法的性能优势会进一步加大。利用OWM算法，神经网络可以连续学习识别ImageNet的1000类图片和3755个中文手写体汉字（每个任务仅训练一类图片或一个汉字）。值得一提的是，算法具有优良的小样本学习能力，以手写体汉字识别为例，基于预训练的特征提取器，系统可以从仅仅数个正样本中就能连续地学习新的汉字。

　　CDP模块则是受前额叶皮层启发提出的。前额叶是大脑中负责认知控制的核心皮层。其同时接收感官输入和情境信号，并选择与当前任务最相关的感官信号指导输出响应。受此启发，作者引入了类似的处理架构——CDP模块，它包括两个子模块：1.编码子模块，其负责将情境信息编码为适当的控制信号；2.“旋转”子模块，其利用编码模块的控制信号处理任务输入（由于其功能上相当于将特征向量在高维空间上进行了旋转，故称为“旋转”子模块）。

　　若将CDP模块与OWM算法联合使用，神经网络只需要一个分类器，就可以连续学习40种不同的脸部特征的识别任务。并且，当不同的提示信号出现时，其对相应的特征做出判断，效果与引入40个分类器的情况相当。

　　通过OWM算法有效克服灾难性遗忘，并通过CDP模块实现单个网络基于情境信号的多任务学习，二者结合有望让智能体通过连续不断的学习去适应复杂多变的环境，从而逐步逼近更高水平的智能。