3月11日,中国科学院脑科学与智能技术卓越中心杜久林研究组、穆宇研究组,联合自动化研究所蒿杰研究组,在《自然-神经科学》上在线发表了题为《实时分析大规模神经成像,实现神经动态的闭环研究》的研究论文。相关成果已被授权发明专利“光学脑机接口系统和方法”。

  该研究借助天文学领域的数据处理技术,采用FPGA-GPU混合架构,对高达500MB/s的大数据流神经功能数据进行实时配准、信号提取和分析。通过这一技术突破,该团队首次实现了对斑马鱼全脑十万级神经元的实时监控与分析,进而对任意选择的神经元集群活动进行解码,以控制外部设备。这一成果标志着基于全脑单细胞光学成像的虚拟现实、光遗传调控等技术在脑科学闭环研究中的应用迈出了关键一步。

  全脑单神经元活动成像是解析大脑并行分布式计算原理的工具,但巨大的数据处理需求成为难以逾越的技术瓶颈,导致难以实时分析以及在大尺度上闭环调控和研究脑功能。受天文学领域中快速射电暴检测技术的启发,科研人员借鉴FX系统设计策略,利用FPGA编程的灵活性建立光学神经信号预处理系统,对来自光学传感器的信号规整化,并将其发送给基于GPU的实时处理系统,进行高速非线性配准,提取各信道的神经信号,依据编码规则进行解码,以获得用于控制外部器件的反馈信号。该系统通过实时监测斑马鱼全脑神经元的活动,生成反馈信号,且反馈间隔小于70.5毫秒。

  系统性能在三个脑科学闭环研究场景下进行展示,即与任意特定神经元集群活动锁相的实时光遗传学刺激,与特定大脑功能状态锁相的实时视觉刺激,以及基于神经元集群活动的虚拟现实控制。

  在闭环实时光遗传学神经调控方面,研究通过功能聚类识别全脑神经元集群,将选定集群的自发活动作为触发信号,实时实施光遗传学刺激于目标神经元集群。相对于开环,闭环刺激有效激活了下游脑区。

  在锁相的实时视觉刺激实验方面,研究通过对蓝斑去甲肾上腺素能系统活动的实时监测,在表征动物清醒状态的蓝斑兴奋时相上施加视觉刺激,观察到大脑中其他神经元的反应更强烈。研究表明,大脑状态可调节对视觉信息的处理,闭环感觉刺激有助于探究大脑内部状态与外界环境的相互作用。

  在全脑光学脑机接口实现的虚拟现实方面,研究实时将高维的全脑所有神经元活动降维到多个神经元集群的活动,并将任一集群的活动与视觉环境闭环联接,建立基于光学成像、直接从脑神经元活动到视觉环境的虚拟现实系统。该虚拟现实中,可随意调整神经活动与环境耦合的增益,使控制环境的神经元集群根据增益变化适应性地调整其活动输出。未来,依托大数据流的实时分析和高通量全脑成像技术,科研人员将可以筛选出适合光学脑机接口的神经群体活动特征并揭示其机制,开发出更高效的光学脑机接口技术。

  研究工作得到科学技术部、国家自然科学基金委员会、中国科学院、上海市和深圳市的支持。


相关文章

柔软弹性电极可用电信号模拟触觉,有望用于虚拟现实等领域

柔软且可拉伸的电极通过电刺激在皮肤上重现振动或压力等触觉。图片来源:雅各布工程学院美国加州大学圣迭戈分校科学家领导的小组开发出一款柔软且有弹性的电子设备。当佩戴在皮肤上时,这款设备能模拟皮肤上感受到的......

葛均波院士:心血管疾病诊断将达到非常智能的程度

·2015年,葛均波等人提出泛血管疾病的概念,并开始在全国建立泛血管疾病管理中心,把内分泌、心血管疾病、肾脏血管疾病、周围血管疾病等放在一个平台上。迄今全国已有近500家大型医院建立了泛血管疾病管理中......

科学家实现全脑光学接口虚拟现实和全脑闭环研究新范式

3月11日,中国科学院脑科学与智能技术卓越中心杜久林研究组、穆宇研究组,联合自动化研究所蒿杰研究组,在《自然-神经科学》上在线发表了题为《实时分析大规模神经成像,实现神经动态的闭环研究》的研究论文。相......

科学家实现全脑光学接口虚拟现实和全脑闭环研究新范式

3月11日,中国科学院脑科学与智能技术卓越中心杜久林研究组、穆宇研究组,联合自动化研究所蒿杰研究组,在《自然-神经科学》上在线发表了题为《实时分析大规模神经成像,实现神经动态的闭环研究》的研究论文。相......

江西与阿联酋大学共建数字孪生与智慧低碳联合实验室

1月29日,“一带一路”中阿国际交流会议在南昌正式召开。记者从会上获悉,江西与阿联酋大学共建数字孪生与智慧低碳联合实验室。国家虚拟现实创新中心主任周建国表示:“我们将与华东交通大学、阿联酋大学共建数字......

智能“手套”可增强虚拟现实触觉

据英国《新科学家》杂志网站14日报道,美国科学家发明出一款智能“手套”,可通过向佩戴者手掌中的神经发送电信号,让佩戴者感觉自己在虚拟现实(VR)中抓住物体。为配合a在VR中拿东西的视觉体验,人们经常会......

智能“手套”可增强虚拟现实触觉

据英国《新科学家》杂志网站14日报道,美国科学家发明出一款智能“手套”,可通过向佩戴者手掌中的神经发送电信号,让佩戴者感觉自己在虚拟现实(VR)中抓住物体。为配合在VR中拿东西的视觉体验,人们经常会佩......

可穿戴接口让虚拟现实更有“味儿”

香港城市大学副教授于欣格、北京航空航天大学教授李宇航等合作,开发了一款小型可穿戴虚拟现实(VR)接口,能让用户闻到多种不同气味,包括迷迭香、莫吉托、煎饼和榴莲的气味。该设备能在局部区域内快速准确地产生......

工信部:2021年我国虚拟现实投融资规模涨幅超100%

近年来,我国虚拟现实产业加速发展,投融资信心和活跃度进入一轮新高潮。2021年我国虚拟现实领域投融资规模涨幅超过100%;相关企业已经超过1万家。虚拟现实是新一代信息技术的重要前沿方向,是数字经济的重......

脑卒与虚拟现实的碰撞

当脑卒中遇上虚拟现实虚拟现实康复训练北航供图上肢康复机器人系统北航供图如果请您列举出几个危害国人健康的重大疾病,您会首先想到哪些呢?癌症?糖尿病?高血压?……在这些疾病中,有一种疾病或许很少被人提及,......