触嗅联觉，让呵护生命之“手”更聪慧

　　瓦砾、碎石、破损的家具、飞扬的尘土……

　　在一线消防救援单位实地调研并经应急管理部上海消防研究所专业人员指导后，中科院上海微系统所副所长、传感技术联合国家重点实验室副主任陶虎团队构建的，人体被瓦砾石堆覆盖的实验场景非常逼真。随着“触嗅一体仿生智能机械手”进入工作状态，研究人员面前的电脑中，各种数据逐渐清晰起来。

　　这是该团队在测试新研制的触嗅一体智能仿生机械手，在此环境下，仿生机械手对包括人体在内的11种典型物体进行识别，触嗅联觉识别准确率达96.9%，较单一感觉提升了15%。1月10日，相关研究发表在《自然—通讯》上。

　　聚焦搜救难题

　　由地震、滑坡、塌方等掩埋事故造成的视觉感知障碍，给搜索救援带来了极大阻碍。为了确保最佳救援时机，提升搜救和生还率，中科院上海微系统所和应急管理部上海消防研究所、中科院自动化所、苏州慧闻纳米科技有限公司等单位合作，依托国家科技创新2030“新一代人工智能”重大项目，针对极端环境无视觉输入情况下，对受困人员识别与救援需求展开了研究。

　　“我们将MEMS嗅觉、触觉柔性传感器阵列与多模态机器学习算法融合，构建了仿星鼻鼹鼠触嗅一体智能机械手。”陶虎告诉《中国科学报》。

　　得益于硅基MEMS气体传感器（灵敏度超越人类1个数量级）、压力传感器（探测极限超越人类1个数量级）的优异性能，该机械手手指触摸物体后，可准确获取其局部微形貌、材质硬度和整体轮廓等关键特征，掌心能同步嗅出物体“指纹”气味。

　　“在此基础上，我们通过仿生触嗅联觉 (BOT) 机器学习神经网络实时处理，最终完成识别人体、确认部位、判断掩埋状态、移开障碍物、闭环救援。”该论文第一作者、中科院上海微系统所博士生刘孟玮对《中国科学报》说，“相较麻省理工学院发表于《自然》的单一触觉（548个传感器）感知研究，我们通过触（70个）、嗅（6个）联觉，仅使用1/7数量的传感器，达到了更理想的识别目的。”

　　实验数据表明，减少传感器的规模和样本量后，仿生智能机械手更适合复杂环境，能在资源有限条件下快速反应和应用。此外，面对在实际救援中经常遇见的，存在干扰气体或器件部分损坏等情况，通过多模态感知的互补和神经网络的快速调节，该系统仍保持超过80%的准确率。

　　来自星鼻鼹鼠的灵感

　　目前，在掩埋事故救援中，主要还是靠人来判断状况，对事故中是否有被困人员、被困人员的生命状态、被困人员的准确方位判断等难题依然未能很好解决。

　　“发生掩埋事故时，现场往往会声音嘈杂，甚至听不清下面的微弱呼救，所以视觉、听觉都会受到阻碍。”刘孟玮说，“因此，我们就想做一个集成多种感知方式的仿生微系统，但困难在于几种传感器怎么结合更合理。”

　　因为一直没有思路，研究人员就想从自然界寻找一些灵感。在调研过程中，他们发现星鼻鼹鼠的生活环境和掩埋环境比较贴合。长期生活在地下，星鼻鼹鼠的视觉和听觉逐渐退化，并进化出围绕在鼻孔四周的星状触手，从而巧妙地把触觉跟嗅觉这两种感觉集中在一起，进行捕猎或判断危险。

　　星鼻鼹鼠比较少见，研究人员虽然“并没有在现实中见过”，但与其相关的研究却很多，尤其是在一些医学领域，有很多的关于星鼻鼹鼠文献。

　　“比如，它触手上触觉单元是什么样的，微观结构是什么样的，包括一些解剖研究，生物学家都做过，我们主要是基于这些信息来进行更深入的研究。”刘孟玮说，”受星鼻鼹鼠启发，在机械手设计上，我们按照和它类似的结构，在机械手上布局了触觉传感器和嗅觉传感器阵列。”

　　触嗅融合优势明显

　　这种触嗅联觉的方式，比单一感知在“同等条件、同等传感器数量情况下，识别率显著提高。在器件要求上，纯触觉识别要求的传感器比较多，会遍布机械手的全掌，而且传感器数量多了，就会产生集成困难，系统复杂度高，数据处理量大等问题。

　　“触嗅联觉的另一个优点就是可以简化感知阵列。”陶虎说，“这样前端采集信号的传感器少了，通道数少了，后面的计算量就会变小，然后整个系统判断起来就会非常快。而且嗅觉感知能轻松区分硫化氢、氨气等人体的特殊气味，进而判断被掩埋者的状态及所触摸的身体部位。”

　　未来，该技术能部署到人工智能机器人或机械手上，机器人在救援挖掘过程中，就能自动感知和判断，在和人体不完全接触的情况下，感知到人的存在，然后进一步判断人的生命状态、进行更精确的定位，从而制定下一步如何救援的策略，避免在施救中对人造成伤害。”

　　相关论文信息：https://doi.org/10.1038/s41467-021-27672-z