哥伦比亚大学工程师直接将脑电波转换成语音

　　将脑电波直接转换成语音是实现大脑-计算机交互的关键一步，同时也给予了有言语交流障碍的人巨大的希望。

　　哥伦比亚神经学工程师创造了一个系统，该系统可以将脑波转化为可理解的语音。通过监控人类的大脑活动，该技术可以清晰地重现人们所听到的单词。这一突破利用了语音合成器和人工智能的强大功能，为计算机与大脑的直接通信提供新的途径，也为帮助有交流障碍的人（如患有肌萎缩侧索硬化症（ALS）或正在恢复的中风人士）重新与外界沟通奠定了基础。

　　该研究得到了美国国立卫生研究院（DC014279），皮尤慈善信托基金和皮尤生物医学学者计划的支持。这些研究结果于2019年1月29号发表在科学报告。

　　哥伦比亚大学的脑行为研究所首席研究员，该论文的资深作者Nima Mesgarani博士说：“语言沟通使我们与我们的朋友，家人和我们周围的世界密不可分，这也是人们因事故或疾病等意外突然进入一个无声的世界而变得很消极的重要原因。”他还提到 “从今天的研究成果来看，我们已经证明了，通过正确的技术，这些人的想法可以重新被大家解读和理解。”

　　这将改变如今的游戏规则。它将让任何有沟通障碍的人，都有可能重新接触周围的世界。

　　几十年的研究表明，当人们说话甚至想说话时，大脑中都会出现明显的活动模式。 当我们倾听某人说话或想倾听时，也会出现明显（而且可识别）的信号模式。专家们试图记录和解码这些模式，在未来，你的思想不会被隐藏在大脑里，而是可以被翻译成口头语言。

　　未来要实现这一伟大设想着实具有挑战性。

　　早期Mesgarani博士及其他人解决脑部信号的工作主要集中在分析频谱图的简单计算机模型上，这些频谱图是声音频率的视觉表示。但由于这种方法未能产生类似可理解的语音，所以Mesgarani博士和他的团队，包括论文的第一作者Hassan Akbari，才转向声码器。这是一种计算机算法，经过人们谈话的录音训练后，可以合成语音。

　　哥伦比亚工程公司电气工程副教授的Mesgarani博士说“这和Amazon Echo，Apple Siri回答语音问题的技术相同。” 为了教声码器解释大脑活动，Mesgarani博士与犹太保健集团神经科学研究所的神经外科医生，这篇文章的共同作者，医学博士，Ashesh Dinesh Mehta合作。Mehta博士治疗癫痫患者，研究人员对其中必须定期接受手术的患者进行了测试。Mesgarani博士说：“与Mehta博士合作，我们让已经接受脑部手术的癫痫患者听取不同人说的句子，同时我们测量了大脑活动的模式。 也通过这些神经模式训练了声码器。”

　　研究人员要求同一批患者听到讲述0到9之间数字的发言者，同时记录了通过声码器运行的大脑信号。由声码器产生的并且可以转化成这些信号的声音被神经网络分析和整理，神经网络是一种模仿生物大脑中神经元结构的人工智能。

　　最终结果是一个机器人背诵一系列数字的声音。为了测试录音的准确性，Mesgarani博士和他的团队要求个人听取录音并报告他们听到的内容。

　　Mesgarani博士说：“我们发现人们可以在75％的时间内理解并重复这些声音，这远远超过以往任何测试。” 将新记录与早期基于频谱图的测试进行比较时，可懂度明显提高。 “敏感的声码器和强大的神经网络代表了患者最初听到的声音，具有惊人的准确性。”接下来，Mesgarani博士和他的团队计划测试更复杂的单词和句子，他们希望对一个人讲话或想说话时发出的大脑信号进行相同的测试。最终，他们希望他们的系统可以成为癫痫患者所使用的植入物的一部分，将佩戴者的思想直接转化为文字。

　　“在这种情况下，如果佩戴者想说'我需要一杯水'，我们的系统可以接受这种想法产生的大脑信号，并将它们转化合成口头语言，”Mesgarani博士说。 “这将改变如今的游戏规则。它将让任何有沟通障碍的人，都有可能重新接触周围的世界。”