人工智能模型消化80小时的视频以学习手语

对于聋人和重听者来说，像Alexa和Siri这样的语音识别技术反而可能是有效沟通的障碍。研究人员利用人工智能开发了一种将手语转换为文本的工具，可能会增加聋人社区的包容性和可及性。

翻译手语需要精确理解手语者的姿势，以产生准确的文字转写。巴塞罗那超级计算中心（BSC）和加泰罗尼亚理工大学（UPC）的研究人员利用人工智能开发了一种改进手语翻译的工具，这是允许聋人和重听者与技术互动并获得为口语设计的数字服务的重要一步。

研究人员使用了一个转化器式的机器学习模型，与ChatGPT等其他人工智能工具背后的模型类似。变压器之所以有用，主要有两个原因。第一，这些模型特别善于学习如何应用上下文，这是因为架构中存在自我注意机制--自我注意是神经网络如何通过查看文本中的其他词汇来确定词汇的上下文。其次，当从训练实例中学习时，它们允许更快的吞吐量，使更多的训练数据在特定时间内被使用。

这里的训练数据集来自How2Sign，这是一个公开可用的大规模、多模态和多视图数据集，包括80小时的美国手语教学视频和相应的英语文字记录。

该研究的主要作者Laia Tarrés说："所开发的新工具是以前同样由BSC和UPC发布的名为How2Sign的出版物的延伸，在那里，训练模型所需的数据（超过80小时的视频，其中美国手语翻译人员翻译了烹饪食谱或DIY技巧等视频教程）被公布。有了这些已经可用的数据，该团队开发了一个新的开源软件，能够学习视频和文本之间的映射。"

用于训练人工智能的How2Sign视频数据集的一个例子，以及该工具做出的预测 How2Sign/巴塞罗那超级计算中心

对于研究人员来说，使用连续签名的视频而不是孤立的签名是很重要的，因为它更真实地反映了说话者是如何自然地使用一连串的词（连接）来构建句子的，这对确定一个句子的含义是至关重要的。

研究人员面临的一个挑战是手语的多变性和复杂性，它可能受到诸如手语者的背景、背景和外表的影响。为了在这方面有所帮助，他们使用膨胀式三维网络（I3D）对数据进行了预处理，这是一种视频提取方法，对视频进行三维过滤，允许直接从视频中获取时空信息。

研究人员发现，文本预处理也大大改善了签名到文本的翻译。为了预处理原始文本，他们将其全部转换为小写字母，从而降低了词汇的复杂性。

总体而言，他们发现他们的模型能够产生有意义的翻译，但并不完美。"研究人员说："虽然我们的工作显示出有希望的结果，但仍有改进的余地。

由于该模型仍处于实验阶段，研究人员将继续努力创建一个工具，使聋人和重听者能够获得与无听力损失者相同的技术。

Tarrés说："这个自动手语翻译的开放工具是对关注无障碍环境的科学界的宝贵贡献，它的发表代表了向为所有人创造更具包容性和无障碍的技术迈出的重要一步。"

该研究报告在线发表在arXiv上。