发布时间:2023-03-19 07:15 原文链接: 科学家研发出可穿戴人工喉还原准确率超90%

一枚硬币大小的石墨烯片,贴在颈部靠近喉咙处,就能帮助发音障碍者获得新“声”。近日,清华大学集成电路学院任天令教授及合作团队在智能语音交互方面取得重要进展,其研发的可穿戴人工喉可以感知喉部发声相关信号,并通过人工智能模型将其识别和合成为语音,还原准确率超过90%。

这一研究结果为语音识别与交互系统提供了一条新的技术途径,并于近日在线发表在《自然》人工智能子刊《自然·机器智能》上。

语音是人类交流的重要方式,但说话人的健康状态(例如神经疾病、癌症、外伤等原因导致的声音障碍)和周围环境(噪音干扰、传播介质)往往会影响声音的传输和识别。一直以来,研究人员在致力改进语音识别和交互技术以应对微弱的声源或嘈杂的环境。多通道声学传感器可以显著提高声音识别的精度,但会导致更大的设备体积,而可穿戴设备能够获取高质量的原始语音或其他生理信号。然而,目前尚无充分的证据表明喉部肌肉的运动模式和反映在体表的发声器官振动中隐含着可识别的语音特征,且尚无实验证明其作为语音识别技术的完备性。

为解决这一问题,任天令团队成员开发了一款基于石墨烯的智能可穿戴人工喉,同商业麦克风和压电薄膜相比,人工喉对低频的肌肉运动、中频食管振动和高频声波信息有很高的灵敏度,同时也具有抗噪声的语音感知能力。对声学信号和机械运动的混合模态的感知使人工喉能够获得更低的语音基频信号。此外,该器件还可以通过热声效应实现声音的播放功能。人工喉的制作过程简单、性能稳定、易于集成,为语音识别和交互提供了一种新的硬件平台。

团队还利用人工智能模型对人工喉感知的信号进行语音识别和合成,实现了对基本语音元素(音素、声调和词语)的高精度识别,以及对喉癌患者模糊语音的识别与再现,为声音障碍者的沟通和交互提供了一种创新的解决方案。

实验结果表明,人工喉采集的混合模态语音信号可以识别基本语音元素(音素、音调和单词),平均准确率为99.05%。同时人工喉的抗噪声性能明显优于麦克风,在60分贝以上环境噪声下仍能保持识别能力。任天令研究团队进一步演示了它的语音交互式应用:通过集成AI模型,人工喉能够识别一名喉切除术患者模糊说出的日常词语,准确率超过90%。识别出的内容被合成为语音在人工喉上播放,可以初步恢复患者的语音交流能力。

任天令介绍,该人工喉还有很大的优化和拓展空间,例如提高声音的质量和音量,增加语音的多样性和表情,以及结合其他生理信号和环境信息实现更自然和智能的语音交互。研究团队希望通过进一步的研究和合作,让人工喉造福更多的声音障碍者和语音交互的用户。


相关文章

2024软科中国大学排名发布百强高校再增2所“双一流”

(2024年4月18日)高等教育专业评价机构软科今日正式发布“2024软科中国大学排名”。清华大学、北京大学、浙江大学蝉联主榜(即综合性大学排名)前三位。北京协和医学院位列医药类大学排名第一,上海财经......

自然科学基金委专题部署党纪学习教育工作

4月17日,国家自然科学基金委员会(以下简称自然科学基金委)召开党组会议专题部署党纪学习教育工作。会议围绕落实《中共中央办公厅关于在全党开展党纪学习教育的通知》要求,对自然科学基金委开展党纪学习教育进......

清华大学正式成立心理与认知科学系

4月18日,清华大学正式成立心理与认知科学系,简称心理系,该系系主任由清华大学基础科学讲席教授、北京智源人工智能研究院首席科学家刘嘉担任。与此同时,清华大学社会科学学院心理学系建制撤销。澎湃新闻从清华......

清华大学团队研发AI光芯片赋能大模型算力

 记者11日从清华大学获悉,针对大规模光电智能计算难题,清华大学电子工程系副教授方璐课题组、自动化系戴琼海院士课题组,摒弃传统电子深度计算范式,另辟蹊径,首创分布式广度光计算架构,研制大规模......

清华团队发现促进蚊媒病毒感染与传播的新机制

记者从清华大学获悉,清华大学基础医学院程功教授团队4月10日在《美国国家科学院院刊》杂志上发表研究论文,揭示蚊媒黄病毒基于一种进化保守的机制,从而使病毒实现高效率感染。该研究工作也为阻断蚊媒黄病毒感染......

著名遗传学家《自然》最新发文:首次报道了着丝粒巨大变异背后的因素

一项对人类和一些非人类灵长类动物着丝粒的基因组研究揭示了它们难以想象的多样性和进化变化的速度。虽然着丝粒通过确保细胞分裂时遗传物质的忠实传递,对细胞的正常复制至关重要,但其基因组组织的复杂性几乎不可能......

过氧化甲乙酮高效安全生产新技术及应用通过评价

近日,由清华大学化学工程系教授徐建鸿牵头完成的“过氧化甲乙酮高效安全生产新技术及其工业应用”项目在北京顺利通过中国化工学会组织并主持召开的科技成果评价。经中国科学院院士、中国石油大学(北京)教授徐春明......

124页报告详尽披露Nature两度撤稿作者迪亚斯数据伪造、抄袭等不当行为确凿

兰加·迪亚斯,这个名字一度在物理学界引起轩然大波。他所宣称的“室温超导”发现,曾让全球科学界为之一震,仿佛打开了新世界的大门。然而,在科学界不断的质疑声中,这扇门逐渐显露出裂痕。迪亚斯所发表的室温超导......

中南大学“地球时空基准”国家基础科学中心正式启动

4月1日,“地球时空基准”国家基础科学中心启动会暨学术委员会成立大会在长沙举行。国家自然科学基金委员会地球科学部常务副主任姚玉鹏、副主任张朝林,来自全国地球科学领域的刘经南、周忠和、王会军、陈晓非、陈......

顶级院校公布采购计划超1.6亿清单涵盖这些设备

清华大学公布2024年6月采购意向,包括全极性污染物二次精细离子多维质谱系统、三重串联四极杆液质联用系统、离子淌度-高分辨飞行时间液质联用、单细胞光导系统等设备,总预算16508万。为便于供应商及时了......