发布时间:2024-09-02 20:03 原文链接: 对情绪可感知度达85%,讯飞推“超拟人交互”

8月30日,科大讯飞星火极速超拟人交互技术正式上线讯飞星火APP,率先面向全社会开放体验。根据官方介绍,星火极速超拟人交互在响应和打断速度、情绪感知情感共鸣、语音可控表达、人设扮演四个方面实现重大突破,让整体交互体验更自然、更具情感。

《中国科学报》记者第一时间在讯飞星火APP上体验了该功能。可以看到,星火极速超拟人交互响应速度很快,支持随时打断;可以识别不同的情绪并呈现有代入符合情境的对话和回复,能觉察到其在有意减少“机械感”。

科大讯飞研究院常务副院长高建清介绍说,极速响应是确保一切体验的基础,也是区别于其它语音产品的关键能力。他解释说,“端到端”技术框架是实现极速响应的重点,该技术通过将此前级联方案升级为统一神经网络,直接实现语音到语音的“端到端”建模,从而大幅缩短响应时间,做到了真正的极速。

至于快速打断功能,高建清说,遇到错答、啰嗦回复等情况,立即打断是人的生理本能。但快速打断及响应其实是个极其复杂的工程问题,需要去判定何时打断、何时不应打断。“我们通过技术创新与强化底座认知能力,解决了打断和响应时间平衡的问题。”

星火极速超拟人语音交互技术路线图。科大讯飞 供图


人类语言具有独特的情绪感染力,能够传达复杂的情感和思想。但长久以来,智能语音与自然语言处理技术偏重于针对“内容”模块下功夫,比如能“听懂”更多的语种,“解答”更多的问题,缺少拟人化的对话方案。

高建清表示,想要获得拟人化的对话体验,需要“内容”与“情绪”等模块协同作用。而大模型时代的到来,恰好能让不同的模块化功能进行“大统一”。他对记者解释道:“以往语音交互系统都是不同的模块,比如语音识别、语音合成和大语言模型。而科大讯飞星火极速超拟人交互技术基于端到端大模型框架,结合讯飞多维度语音属性解耦表征训练模块,从而可实现情感、方言、韵律、音色等的可控,最终实现了对语音交互的拟人化升级。”

“我们将一万多条带明确情绪色彩的语音测试语音大模型,结果有8500多条回复能匹配相应的情绪。”高建清告诉《中国科学报》,讯飞星火语音大模型的超拟人功能,对多种情绪的可感知度达到85%以上,可使对话声音真实度、拟人度更强。

他认为,共情力对于大模型是一项重要的基础能力,或许在未来的人形机器人身上,我们将看到更具共情力的具象表达。他进一步提出,目前系统暂时不能使用表情,但未来如果将表情、声音内容与声音情绪三者结合在一起,将会是一条可行的新路径。

 


相关文章

国家能源集团发布全球首个千亿级发电行业大模型“擎源”

6月28日,国家能源集团在京举行发布会,正式发布全球首个千亿级发电行业大模型——“擎源”。该模型构建了覆盖安全环保、电力交易、产调中枢、设备检修全链条的智能决策体系,实现电力全场景智慧化升级、模型自主......

中国首个海洋领域开源大模型OceanGPT正式发布

近日,中国首个海洋领域开源大模型OceanGPT(沧渊)在杭州正式发布。该大模型由海洋精准感知技术全国重点实验室(浙江大学)牵头研发,具备基础的海洋专业知识问答,以及声呐图像、海洋观测图等海洋特色多模......

智能识别新模型可减少机器采摘菠萝损伤率

近日,中国热带农业科学院南亚热带作物研究所旱作农业工程团队在基于混合监督学习的菠萝智能识别算法方面取得新进展。该团队设计了一个基于混合监督学习(MIset)的掩蔽自关注实例分割网络,以快速提取菠萝的位......

研究揭示面部表情识别内在机制破解“察言观色”背后的科学密码

人类的情绪识别能力并不是单一由先天或后天决定的,而是两者共同作用的结果。这一发现为长期以来的“先天与后天”之争提供了新视角,揭示了遗传和环境在情绪识别中的不同作用。表情是人们传递情绪、沟通交流的重要方......

精准诊断消化道罕见病的医学多模态大模型发布

近日,首个可精准诊断罕见病的医学影像多模态大模型矩阵“明岐”正式亮相。当天,由上海交通大学主办,上海交通大学计算机学院(网络空间安全学院)、上海交通大学国际与公共事务学院、健康长三角研究院共同承办的“......

《模型引导的创新药物剂量探索和优化技术指导原则》发布

国家药监局药审中心关于发布《模型引导的创新药物剂量探索和优化技术指导原则》的通告(2024年第53号)。为推动创新药物高质量发展,进一步指导我国创新药物临床试验阶段剂量探索和优化,药审中心组织制定了《......

腾讯大模型上线文生视频并宣布开源

据腾讯官微消息,腾讯今日宣布,混元大模型上线并开源文生视频能力。据介绍,该模型参数量为130亿,已经在HuggingFace平台及Github上发布,包含模型权重、推理代码、模型算法等完整模型,可供企......

2024人工智能十大前沿技术趋势在北京发布

被称为是“未来已来”和“无所不能”的人工智能(AI)技术,通过迅猛发展和广泛应用,正影响着人类生活与工作的方方面面,其未来发展趋势广受关注。2024年世界科技与发展论坛“人工智能治理创新为培育科技治理......

AI新模型快速预测材料光学性质

未来的中央处理器(艺术图)。图片来源:美国趣味工程网站科技日报讯 (记者刘霞)据美国趣味工程网站近日报道,日本东北大学和美国麻省理工学院科学家,成功开发出一款新人工智能(AI)模型GNNOp......

华为徐直军:每个企业都要思考获取AI能力的方式

“一段时间以来,各行各业几乎言必称大模型,纷纷建设人工智能(AI)算力、训练大模型,这对于华为这样的算力提供商而言无疑是重大利好。”9月19日,在2024年华为全联接大会上,华为副董事长、轮值董事长徐......