受聘清北两校，朱松纯团队发表最新成果

我们能相信人工智能（AI），并将汽车驾驶、金融保险和医疗健康等决策权全盘交给它吗？很遗憾，现在还不行。当前基于深度神经网络的AI算法“可解释性”很差，它的处理过程仿佛一个“黑盒子”，不能解释为何作出特定决策。我们无法信任它。因此，可解释人工智能（XAI）的研究——其目的是搭建人机信任的桥梁——势在必行。

近日，AI领域知名学者朱松纯教授团队在iScience发表论文，提出了一个新的可解释AI框架“CX-ToM”，可用于解释深度卷积神经网络（CNN）作出的决策，在图像识别模型中增强人类的信任。

目前，朱松纯同时在清华大学和北京大学任讲席教授并担任管理职务，这种情况实属罕见。他主持的北京通用人工智能研究院（BIGAI）也是由清华大学、北京大学等单位合作支撑。根据这篇新发论文，在朱松纯所属机构一栏，这三家均在列。

在获取人类信任方面获得的进步，将使AI朝着更“自主的智能”迈近一步。朱松纯一直致力于“完全自主的智能”的研究，他曾撰文表示，相比会学舌的鹦鹉，能够领会到将坚果丢在斑马线上、利用车轮碾压吃到坚果肉的乌鸦，才是他所期望的“真正的智能”。

朱松纯 图源：清华大学

帮助AI取信于人的两个工具

基于推理判断的“反事实解释”和心理学和认知科学中的“心智理论”（ToM）都是能使神经网络获取人类信任的工具。朱松纯团队提出的人机信任模型“CX-ToM”中，不仅将反事实解释用于图像识别上，还引入了心智理论概念。

举个例子，在一张图片里，一只黄褐色、有鹿角的鹿站立在草原上，CNN模型能够识别出它是只鹿，但同时还有一定概率会识别为袋鼠和斑马。是黄褐色的身躯误导了模型，还是大草原的背景给了模型其他的想象？

给出决策背后的“黑盒”无从得知，模型只是盲目地在若干预测结果中选择可能性最高的那个。

在集成了反事实解释和心智理论的AI框架下，研究人员试图打开这个“黑盒子”。例如：在对草原鹿图片的识别给出答案后，人们就要询问机器（这里指CX-ToM模型）：“为什么图像被识别成鹿而不是袋鼠？”

此时，模型就要向用户报告它给出推理和预测所依据的（最优的）具有区分性的语义特征，之后用户来验证模型的预测。如果用户对模型的回答不满意，则可以接着询问，直到它选择出一组让用户满意的最优解释。

在这个模型中，AI框架所生成的“解释”不是“一锤子买卖”，而是一种基于人机交互对话的多轮次通信过程——这也是该论文的一大亮点。

基于心智理论的可解释框架示例

过往的研究表明，人机信任与AI的可理解性（人类用户对AI系统的理解程度）和可预测性（在特定任务上预测系统性能的准确程度）密切正相关。CX-ToM模型在这方面做得很好。

在实验中，研究人员招募了60名计算机视觉背景（具有丰富的使用CNN训练图像分类模型的经验）的专家用户，以及150名没有计算机视觉背景（且没有其他AI领域背景）的非专家用户。研究人员使用定性和定量的评估指标，展开CX-ToM模型与其他基线模型的对比实验。

结果显示，两组用户都认为，在基于心智理论的人机交互对话的环境下，他们和机器进行多轮次沟通，机器每一次越来越优的反馈结果都能引起他们的好感；与此同时，机器解释给出的详细、可理解的结果，能够帮助更深入地理解神经网络模型是如何做图像分类识别的，这显然有助于增加对其的信任。

朱松纯：AI研究应该搞一个“乌鸦图腾”

“完全自主的智能”——感知、认知、推理、学习和执行都有的AI，存在吗？

这是世界上顶级科学家都难以解决的问题，但朱松纯认为，这个解存在。他例举了乌鸦取食的例子，认为“自然界已经为我们提供了很好的案例”。

鸟类中，乌鸦和鹦鹉体型差不多。鹦鹉有很强的语言模仿能力，人类的一个短句多说几遍，它就能重复。朱松纯认为这就类似于由数据驱动的聊天机器人：它们都可以说话，但又都不明白说话的语境和语义，不能把所说的话对应到物理世界的物体、场景、人物，不符合因果与逻辑。

但生活在复杂城市环境中的乌鸦——它们能够制造工具，懂得各种物理常识和人类活动的社会常识，能够与人类交互和共存。

日本研究人员曾经观察过乌鸦的行为，他们惊奇地发现，乌鸦不仅懂得借助汽车轮胎碾压坚果以打开坚硬的外壳，还懂得把坚果放在斑马线附近，在红灯停车时，它们就不必冒着生命危险取食。在这一系列的操作中，乌鸦展现了它对城市环境的感知、认知、推理、学习和执行，而且这个过程中没有大数据训练、没有监督学习。

“作为科学研究的目标，我们要寻找‘乌鸦模式’的智能，而不要‘鹦鹉模式’的智能。”朱松纯感慨：“我个人认为，人工智能研究该搞一个‘乌鸦图腾’，因为我们必须认真向它们学习。”

朱松纯的观点在AI学术领域有一定代表性。目前，朱松纯同时在清华大学和北京大学任职。据清华大学官网，朱松纯现任该校基础科学讲席教授、清华大学通用人工智能研究院（筹）院长；北京大学官网则显示，朱松纯系该校讲席教授，自2020年11月起任北京大学人工智能研究院院长。

此外，朱松纯还担任北京通用人工智能研究院（BIGAI）院长。据企查查信息显示，北京通用人工智能研究院是一家由科技部、北京市政府支持共建，清华大学、北京大学等单位合作支撑的非营利性新型研发机构。

参考资料：

https://www.cell.com/iscience/fulltext/S2589-0042(21)01551-0

https://arxiv.org/abs/1909.06907

https://www.au.tsinghua.edu.cn/info/1110/2445.htm

http://www.cis.pku.edu.cn/info/1084/1757.htm

https://www.zhihu.com/org/bei-jing-tong-yong-ren-gong-zhi-neng-yan-jiu-yuan