一种基于声音可视化的听障人士辅助系统及操作方法与流程

本发明属于听障人士交流，具体涉及一种基于声音可视化的听障人士辅助系统及操作方法。

背景技术：

1、听障人群无法直观的感受到声音，听障人群的身心需求表达困难。听力障碍人群与一般人存在交流壁垒。

2、他们受困于听不见。对声音的认识不足，没有软件可以直观的让聋哑人体会到声音的存在，聋哑人对声音的认知只是在一个概念上。听障人士无法通过声音的大小、特征，确定发出声音的位置，无法获取发出声音的物体想要传达的位置信息。

3、因此，针对上述技术问题，有必要提供一种基于声音可视化的听障人士辅助系统及操作方法。

4、公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

1、本发明的目的在于提供一种基于声音可视化的听障人士辅助系统及操作方法，其能够解决上述背景技术提出的问题。

2、为了实现上述目的，本发明一具体实施例提供的了一种基于声音可视化的听障人士辅助系统，包括有混合现实设备、听声辩位系统、手势识别系统、语音实时翻译系统和智能家居控制系统。

3、所述混合现实设备，连接手势识别系统、语音实时翻译系统和智能家居控制系统，所述混合现实设备包括有麦克风系统、固定组件和显示屏，所述混合现实设备通过语音识别系统将生成一个箭头指向声音发生的位置，为用户提供声音可视化和声源定位；所述听声辩位系统通过麦克风阵列系统检测声音并通过后端算法实时计算其准确位置；所述手势识别系统包括有手势面板，所述手势识别系统通过摄像组件录取手势信息，对录取的手势信息行识别，并将其即时转换为文字，转换的文字信息将通过混合现实设备传递出去；所述语音实时翻译系统将口语转换为书面文本，对每个人的声音进行精准分类和识别，并将其实时显示在混合现实设备内，以便听障人士能够立即、准确地看到别人说的话；所述智能家居控制系统连接混合现实设备，所述智能家居控制系统用于控制智能家居，通过混合现实设备可进行控制智能家居；

4、其中，基于声音可视化的听障人士辅助系统通过人工智能生成算法，产生解释性的图像和文字，便于用户理解。

5、在本发明的一个或多个实施例中，所述后端算法为srp-phat-hsda算法，所述听声辩位系统包括有声音定位单元和声音分类单元，所述声音分类单元通过预处理音频输入以提取有用的特征，然后在其上应用分类算法，将声音变换为频谱传入cnn提取特征后进行分类。

6、在本发明的一个或多个实施例中，所述语音实时翻译系统包括有语音识别模块单元和声音可视化模块，所述语音识别模块单元采用的asr算法，识别时将原始音频切分成一系列短片段，而后变换为log-mel声谱图，通过transformer编码器编码生成隐含状态，并通过解码器自回归地预测下一个输出词，实时地将其他人的语音字幕显示在显示屏上，用户可以直观的看到其他人所说的话，当环境中发出声音时，将声音位置通过动态箭头的动态显示在混合现实设备的显示屏上，并将声源信息反馈给用户，并显示屏上显示弹窗式的文字提示。

7、在本发明的一个或多个实施例中，所述混合现实设备为mr眼镜，所述mr眼镜包括有麦克风系统、mr眼镜主体、一对显示屏、摄像组件、控制组件、无线电池仓和固定组件，所述摄像组件位于一对显示屏之间，所述控制组件固定连接在固定组件上，所述控制组件用于整体的控制。

8、在本发明的一个或多个实施例中，所述基于声音可视化的听障人士辅助系统还包括有交流说话面板，所述交流说话面板包括有常用语面板模块和打字模块，所述打字模块为手势识别后进行输入文本显示在显示屏的弹窗上，所述常用语面板模块设置有提前预输入常用语词库和常用手势词库，用户使用时，通过检测一系列手势并转换为词语序列，再通过aigc技术为其润色转换成完整的句子，在显示屏上的弹窗上显示。

9、一种基于声音可视化的听障人士辅助系统的操作方法，包括下述步骤；

10、s1、用户佩戴混合现实设备，并进行登录，进入登录界面；

11、s2、进入主界面；系统自动运行，将声音具象化显示；

12、s3、功能选择；根据需求选取听声辩位系统、手势识别系统、语音实时翻译系统或智能家居控制系统后，系统根据当前选择开始帮助用户进行发现和感受声音；

13、s4、返回主界面；用户识别使用完成后，可返回主界面进行再次选择功能；

14、s5、结束。

15、在本发明的一个或多个实施例中，所述s3步骤中的听声辩位系统包括下述步骤；

16、s11、进入听声辩位功能；

17、s12、通过麦克风阵列获取声音信息；

18、s13、上传服务器，将声音信息进行上传；

19、s14、功能选择，可根据当前需求选择对应功能；

20、s141、选择声音的类型，未选中的声音不会显示；

21、s142、使用默认设置；

22、s1421、危险声音有限显示；

23、s1422、查看详情描述；

24、s1423、辩位成功，则ai生成声音描述；

25、s1424、辩位失败，声音消失，提示会跟随失；

26、s1425、辩位失败后关闭声音定位，自动返回s12步骤，进行重新操作；

27、s15、选择声源数量，超出声音的数量不会显示。

28、在本发明的一个或多个实施例中，所述s3步骤中的智能家居控制系统包括下述步骤；

29、s21、进入智能家居控制界面；

30、s22、功能选择，选取对应的功能；

31、红外控制，可进行名称修改，信号录入、智能模型设置；

32、蓝牙控制，进行蓝牙控制后、设备发现、蓝牙连接后进行模块控制；

33、s23、保存修改，对当前的选择进行保存；

34、s24、结束修改，功能选择完成后可进行保存，便于后续直接进入使用。

35、在本发明的一个或多个实施例中，所述s3步骤中的手势识别系统包括下述步骤；

36、s21、进入手势识别功能，打开手势面板

37、s22、开始识别，如识别成功可直接进入下一步，如识别失败，则返回s21步骤，进行重新操作；

38、s23、记录手势；

39、s231、匹配记录的手势；

40、s2311、未匹配成功，显示当前不存在该手势，则返回s23步骤进行重新识别；

41、s2312、匹配成功，进入下一步

42、s24、短语匹配；

43、s25、ai润色显示，ai生成声音描述，并在显示屏上显示；

44、s26、是否继续识别，是则重新返回s21步骤进行识别。

45、在本发明的一个或多个实施例中，所述s3步骤中的语音实时翻译系统包括下述步骤；

46、s31、进入语音实时翻译系统；系统开始识别，通过麦克风阵列录取识别；

47、s32、语音实时交流；

48、s33、识别环境中的说话声；

49、s34、后端算法实时翻译并显示；

50、s35、是否交流；用户根据需求选择是否与其他人进行交流

51、s351、用户选择交流，手势打开交流说话面板，并选择对应功能，通过打字或手势发送消息、设置音色、设置声音大小；

52、s352、用户未选择交流，自动返回s33步骤，进行重新操作识别；

53、s36、系统自动语音合成；

54、s37、是否继续翻译。

55、与现有技术相比，本发明的一种基于声音可视化的听障人士辅助系统及操作方法，具有以下益处；

56、1)能够实时分析声音，可视化声音，声源定位，辅助聋哑人发现和感受声音，实时手语识别和语音转文字转化满足聋哑人的交流需求，支持裸手交互，不需要手拿手机就能实现交流。

57、2)利用混合现实技术，声音将以可视化的形式呈现给听障人群，让听障人群直观地感受到声音，体会声音所要传达的信息，同时生成各种声音的详细图文解释，呈现在混合现实设备的显示屏上，利用听声辩位系统，将听到的声音进行分类和处理，识别声音的种类和定位，让聋哑人能够确定发声源的位置。

58、3)可以识别手语或者识别自定义的手势等，通过手语，手势或ui面板调用对话用语，再通过设备的内置语音将聋哑人所想要说的话“说”给和其对话的人，实现无障碍式交流。