头戴式电子设备、显示方法、介质及程序产品与流程

本技术涉及头戴式电子设备，尤其涉及一种头戴式电子设备、显示方法、介质及程序产品。

背景技术：

1、在听障人群中，可以通过助听器将原本听不到的声音加以扩大，再利用听障者的残余听力，使声音能送到大脑听觉中枢，而感觉到声音，为听障者带来很大便利。然而，助听器适合于轻度至重度听力损失的患者，重症及全聋用户在日常生活中存在很大的沟通障碍。因此，如何协助听障人群进行日常沟通、会议交流成为亟待解决的技术问题。

技术实现思路

1、为了解决上述技术问题，本技术提供了一种头戴式电子设备、显示方法、介质及程序产品。

2、根据本技术的第一方面，提供了一种头戴式电子设备，包括：多个语音采集模块、处理器和显示模块；

3、所述语音采集模块，用于采集音频数据；

4、所述处理器，用于根据采集到的音频数据，确定所述音频数据相对于所述头戴式电子设备的方向信息，将所述音频数据和所述方向信息输入预先训练的语音识别模型，得到所述音频数据对应的文本信息，根据所述方向信息，确定所述文本信息对应的显示方式；

5、所述显示模块，用于按照所述显示方式，显示所述文本信息对应的多媒体信息。

6、可选的，所述头戴式电子设备还包括语音处理单元骨传感器，所述语音处理单元骨传感器位于所述头戴式电子设备的镜腿靠近耳朵一侧；

7、所述语音处理单元骨传感器，用于检测所述音频数据的来源是否为所述头戴式电子设备的佩戴者；

8、所述处理器，用于如果确定所述音频数据的来源不是所述头戴式电子设备的佩戴者，根据采集到的音频数据，确定所述音频数据相对于所述头戴式电子设备的佩戴者的方向信息。

9、可选的，所述处理器，还用于如果确定所述音频数据的来源是所述头戴式电子设备的佩戴者，获取所述音频数据的应答语音。

10、可选的，所述处理器，用于根据方向和位置的映射关系，确定所述方向信息对应的显示位置；

11、所述显示模块，用于在所述显示位置显示所述文本信息对应的多媒体信息；或者

12、所述处理器，用于根据方向和颜色的映射关系，确定所述方向信息对应的显示颜色；

13、所述显示模块，用于按照所述显示颜色显示所述文本信息对应的多媒体信息。

14、可选的，所述头戴式电子设备还包括：震动模块；

15、所述处理器，还用于如果所述文本信息中包括预设关键词，向所述震动模块发送震动指令；

16、所述震动模块，用于响应于所述震动指令，以预设频率发生震动。

17、可选的，所述头戴式电子设备周围包括多个预设区域范围，所述方向信息包括：所述音频数据在所述多个预设区域范围中对应的目标区域范围。

18、可选的，所述多个预设区域范围包括位于所述头戴式电子设备前方的多个第一区域范围和位于所述头戴式电子设备后方的一个第二区域范围。

19、可选的，所述多个语音采集模块的数量为三个，包括两个第一语音采集模块和一个第二语音采集模块，两个第一语音采集模块分别位于所述头戴式电子设备的两个镜腿的前端，一个第二语音采集模块位于所述头戴式电子设备的任一镜腿，且与位于同一镜腿的第一语音采集模块具有预设距离。

20、根据本技术的第二方面，提供了一种头戴式电子设备的显示方法，包括：

21、通过多个语音采集模块采集音频数据，并根据采集到的音频数据，确定所述音频数据相对于头戴式电子设备的方向信息；

22、将所述音频数据和所述方向信息输入预先训练的语音识别模型，得到所述音频数据对应的文本信息；

23、根据所述方向信息，确定所述文本信息对应的显示方式，并按照所述显示方式，显示所述文本信息对应的多媒体信息。

24、可选的，所述方法还包括：

25、通过所述头戴式电子设备中的语音处理单元骨传感器检测所述音频数据的来源是否为所述头戴式电子设备的佩戴者；其中，所述语音处理单元骨传感器位于所述头戴式电子设备的镜腿靠近耳朵一侧；

26、如果确定所述音频数据的来源不是所述头戴式电子设备的佩戴者，根据采集到的音频数据，确定所述音频数据相对于所述头戴式电子设备的佩戴者的方向信息。

27、可选的，在通过所述语音处理单元骨传感器检测所述音频数据的来源是否为所述头戴式电子设备的佩戴者之后，所述方法还包括：

28、如果确定所述音频数据的来源是所述头戴式电子设备的佩戴者，获取所述音频数据的应答语音。

29、可选的，所述根据所述方向信息，确定所述文本信息对应的显示方式，包括：

30、根据方向和位置的映射关系，确定所述方向信息对应的显示位置；

31、所述按照所述显示方式，显示所述文本信息对应的多媒体信息，包括：

32、在所述显示位置显示所述文本信息对应的多媒体信息；或者

33、所述根据所述方向信息，确定所述文本信息对应的显示方式，包括：

34、根据方向和颜色的映射关系，确定所述方向信息对应的显示颜色；

35、所述按照所述显示方式，显示所述文本信息对应的多媒体信息，包括：

36、按照所述显示颜色显示所述文本信息对应的多媒体信息。

37、可选的，所述方法还包括：

38、如果所述文本信息中包括预设关键词，控制所述头戴式电子设备以预设频率发生震动。

39、可选的，所述头戴式电子设备周围包括多个预设区域范围，所述方向信息包括：所述音频数据在所述多个预设区域范围中对应的目标区域范围。

40、可选的，所述多个预设区域范围包括位于所述头戴式电子设备前方的多个第一区域范围和位于所述头戴式电子设备后方的一个第二区域范围。

41、可选的，所述多个语音采集模块的数量为三个，包括两个第一语音采集模块和一个第二语音采集模块，两个第一语音采集模块分别位于所述头戴式电子设备的两个镜腿的前端，一个第二语音采集模块位于所述头戴式电子设备的任一镜腿，且与位于同一镜腿的第一语音采集模块具有预设距离。

42、根据本技术的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第二方面所述的方法。

43、根据本技术的第四方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第二方面所述的方法。

44、本技术实施例提供的技术方案与现有技术相比具有如下优点：

45、通过多个语音采集模块采集音频数据，可以根据采集到的音频数据，确定音频数据相对于头戴式电子设备的方向信息，从而可以知晓声音的来源方向。由于语音识别过程中，对同步的要求较高，每一个词的转换时间不是固定的，无法做到一对一的处理，因此，将音频数据和方向信息同时输入预先训练的语音识别模型，得到音频数据对应的文本信息，可以保证语音识别的同步性。进一步地，根据方向信息，确定文本信息对应的显示方式(例如可以是显示位置、显示颜色等)，并按照显示方式，显示文本信息对应的多媒体信息，例如可以直接显示该文本信息，或者显示该文本信息对应的动画信息等。可见，本技术可以实时将来自不同方向的音频数据转换为对应的文本信息，并方向性显示文本信息对应的多媒体信息，从而可以协助听障人群日常沟通(尤其是多人沟通的场景)、会议交流等。