一种基于目标检测算法的AI手语翻译方法与系统

本发明涉及手语翻译，具体为一种基于目标检测算法的ai手语翻译方法与系统。

背景技术：

1、在我国有2000多万的听力语言残障人士，他们无法像健全人一样通过说和聆听与外界进行沟通，只能通过无声的手语与旁人交流。为了让聋哑人士好地融入社会，有效地与社会进行交流，手语翻译演着至关重要的角色。在这个社会融合度高的大环境下，聋哑人士也需要通过手语等其他的方式来与他人进行自然交流。在日常生活中，聋哑人士存在着许许多多不方便，在诸多方面存在着问题，如听障者在听别人讲话时往往遇到困难，特别是噪声环境中遇到的困难更大，他们听一些非言语信号如闹钟、门铃和电话铃声等也会有困难，许多患者在参与社会交往活动中，特别是当人们很快地改变谈话内容时，往往不能听明白谈话内容。他们与家人、朋友及同事进行交流时也存在许多困难,大部分患者接听电话时也不能进行正常的谈话，由于患者存在听力障碍，因此他们的就业范围及工作机会相对减少，受教育的机会也减少了。同时由于他们在许多人的场合及噪声环境中存在着交流困难，限制了他们的社会活动及交往，他们的娱乐活动如看电影、听音乐会等也就随之减少，患者感到被社会及他人忽视了。听障者与他们的家人交流的数量和质量往往减少，他们更依赖于家人，患者常抱怨家人不能理解他们，而家人则对患者的期望太多表示不满。听障者往往存在许多心理问题，如内向、孤独、不合群、缺乏自信、过分自信、焦虑、脾气暴躁、易疲劳等，不愿接受听力障碍的事实并企图掩盖，此外，聋人所面临的最大问题就是教育问题，由于他们听力语言的障碍，在学习中会出现字汇贫乏、组句困难、发音不准等问题，加之他们需要非常专注地聆听和观察，容易出现疲劳，注意力涣散等现象，所有这些困难很容易使聋人在学习过程中失去兴趣.主动性，不能专心听讲，甚至厌学。聋哑人虽然可以通过治疗达到正常交流的状态，但是康复的人数远不及患病人数。聋哑人一般分为两大类，即先天性聋哑人和后天性聋哑人，他们存在康复的可能性。但在康复期间的社会交流都需要一个技术媒介作为“中间商”，此装置便是一个有利的中间媒介。

2、虽然受过教育的听障者也能够使用文字进行交流，但是对于他们来说，手语是更易于使用和接受的交流方式，而我国目前致力于听障者专业服务的人士只有大约一万名，大部分公共服务并没有配备专门的便利设施，这些都是听障者长久以来面临的迫切需求.目前存在的一些专业性问题如手语领域专业人士人数(如手语翻译人员等)欠缺、技术欠成熟，需依靠大数据以及现代信息交互技术，来帮助正常人与聋哑人进行沟通交流。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的现状，而提供一种基于目标检测算法的ai手语翻译方法与系统，通过目标检测算法建立并训练模型，通过多种物体动作进行收集，对这些数据集进行训练，形成手语与语音转换，进行手语翻译。

2、本发明解决上述技术问题所采用的技术方案为：一种基于目标检测算法的ai手语翻译方法，其特征在于，包括步骤：

3、s1：通过数据库对物体动作进行收集以形成数据集变传输至手语图像识别模块；

4、s2：通过手语图像识别模块对数据集进行标注，并通过目标检测算法对标注后的指定数据进行数据集的训练与比对以获取最小的损失值，根据最小的损失值获取与识别物体最接近的权重参数；

5、s3：通过与识别物体最接近的权重参数作为输入参数，根据识别代码进行物体动作的判断，根据判断结果进行标签操作，并将已标签的物体动作传输至控制芯片；

6、s4：通过控制芯片将摄像头获取的当前手语手势与已标签的物体动作进行比对，并通过语音输出模块将比对结果进行语音输出。

7、进一步地，所述最小的损失值通过分类损失值、物体置信度损失值与定位损失值根据设定比例进行计算。

8、进一步地，所述分类损失值通过二元交叉熵损失函数对物体的正样本进行计算；所述物体置信度损失值通过二元交叉熵损失函数对物体的所有样本进行计算；所述定位损失值通过重叠联合比损失函数对物体的正样本进行计算。

9、进一步地，所述识别后的语音通过语音输出模块进行语音速度、语音音量及语音类别设置。

10、进一步地，通过所述语音识别模块对采集的语音信号进行特征提取，并通过解码搜索单元将提取的特征进行标签转换并搜索最接近的物体动作，并将物体动作传输至控制芯片。

11、进一步地，通过所述控制芯片将标签转换结果与已标签的物体动作进行比对以获取物体动作，并通过视频输出模块将物体动作以手语视频形式输出。

12、本发明的第二方面，提供了一种基于目标检测算法的ai手语翻译系统，其特征在于，所述基于目标检测算法的ai手语翻译系统包括：

13、数据库，用于存储收集的物体动作数据集；

14、手语图像识别模块，用于识别物体动作数据集并进行标签；

15、控制芯片，用于处理收集到的图像信号与语音信号，并传输至对应输出模块；

16、语音识别模块，用于识别输入的语音信号；

17、语音输出模块，用于将手语手势转换为语音信号进行输出；

18、视频输出模块，用于将手语手势转换为视频信号进行输出。

19、进一步地，所述语音识别模块包括特征提取单元、语言模型单元、声学模型单元和解码搜索单元，其中：

20、特征提取单元，用于处理语音信号并进行特征提取；

21、语言模型单元，用于提高语言模型得分；

22、声学模型单元，用于提高声学模型得分；

23、解码搜索单元，用于将提取的特征进行标签转换，并搜索最接近的物体动作。

24、进一步地，所述基于目标检测算法的ai手语翻译系统还包括录音模块，用于将语音信号转换为文字信号。

25、进一步地，所述控制芯片设有usb接口与以太网接口。

26、与现有技术相比，本发明至少含有以下有益效果：

27、(1)本发明的一种基于目标检测算法的ai手语翻译方法,通过目标检测算法建立并训练模型，通过多种物体动作进行收集，对这些数据集进行训练，形成手语与语音转换，让聋哑人更好地理解普通人表达的意思，提高沟通效率；

28、(2)本发明的一种基于目标检测算法的ai手语翻译方法，使用目标检测算法进行模型建立与训练，可进行手语转语音文字，语音文字转动态手语视频，进行双向交流，提高了准确度，解决了不识字的聋哑人群体的困境；

29、(3)本发明的一种基于目标检测算法的ai手语翻译系统，可适配多个应用场景，携带方便，提高手语翻译效率。

技术特征：

1.一种基于目标检测算法的ai手语翻译方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种基于目标检测算法的ai手语翻译方法，其特征在于，所述最小的损失值通过分类损失值、物体置信度损失值与定位损失值根据设定比例进行计算。

3.根据权利要求2所述的一种基于目标检测算法的ai手语翻译方法，其特征在于，所述分类损失值通过二元交叉熵损失函数对物体的正样本进行计算；所述物体置信度损失值通过二元交叉熵损失函数对物体的所有样本进行计算；所述定位损失值通过重叠联合比损失函数对物体的正样本进行计算。

4.根据权利要求1所述的一种基于目标检测算法的ai手语翻译方法，其特征在于，所述识别后的语音通过语音输出模块进行语音速度、语音音量及语音类别设置。

5.根据权利要求1所述的一种基于目标检测算法的ai手语翻译方法，其特征在于，通过所述语音识别模块对采集的语音信号进行特征提取，并通过解码搜索单元将提取的特征进行标签转换并搜索最接近的物体动作，并将物体动作传输至控制芯片。

6.根据权利要求5所述的一种基于目标检测算法的ai手语翻译方法，其特征在于，通过所述控制芯片将标签转换结果与已标签的物体动作进行比对以获取物体动作，并通过视频输出模块将物体动作以手语视频形式输出。

7.一种基于目标检测算法的ai手语翻译系统，用于实施如权利要求1-6所述的一种基于目标检测算法的ai手语翻译方法，其特征在于，所述基于目标检测算法的ai手语翻译系统包括：

8.根据权利要求7所述的一种基于目标检测算法的ai手语翻译系统，其特征在于，所述语音识别模块包括特征提取单元、语言模型单元、声学模型单元和解码搜索单元，其中：

9.根据权利要求7所述的一种基于目标检测算法的ai手语翻译系统，其特征在于，所述基于目标检测算法的ai手语翻译系统还包括录音模块，用于将语音信号转换为文字信号。

10.根据权利要求7所述的一种基于目标检测算法的ai手语翻译系统，其特征在于，所述控制芯片设有usb接口与以太网接口。

技术总结本发明公开了一种基于目标检测算法的AI手语翻译方法与系统，具体涉及手语翻译技术领域，通过数据库对物体动作进行收集以形成数据集变传输至手语图像识别模块，再对数据集进行标注，并通过目标检测算法对标注后的指定数据进行数据集的训练与比对以获取最小的损失值，根据最小的损失值获取与识别物体最接近的权重参数，通过与识别物体最接近的权重参数作为输入参数，根据识别代码进行物体动作的判断，根据判断结果进行标签操作，并将已标签的物体动作传输至控制芯片，将摄像头获取的当前手语手势与已标签的物体动作进行比对，并通过语音输出模块将比对结果进行语音输出；让聋哑人更好地理解普通人表达的意思，提高沟通效率。技术研发人员：章晓敏,杨涛,田思,刘丽受保护的技术使用者：宁波财经学院技术研发日：技术公布日：2024/4/17