基于可穿戴设备的音频处理方法、装置、设备及存储介质与流程

本技术涉及可穿戴设备，尤其涉及基于可穿戴设备的音频处理方法、装置、设备及存储介质。

背景技术：

1、当用户在非私密空间内佩戴可穿戴设备，例如vr(virtual reality device，虚拟现实设备)体验虚拟世界时，有时仍然有与现实环境中周围的人进行语言交流的需求，但此时，与现实环境中的人进行语言交流，将是一件体验极差的事情。原因主要是：第一，vr中的显示屏正显示虚拟世界画面，无法看到现实环境，无法通过视觉查看周围的人，如果通过环境摄像头拍摄周围环境画面并实时显示在vr屏幕中，又无法同时体验虚拟世界的画面(或影响虚拟世界的体验)。第二，在佩戴使用vr设备时，vr设备播放出的声音环绕在耳边，且声音可能较大，足以影响聆听对现实环境中周围人的说话声音。可能听不清周围人的说话内容，也可能听不出说话人在哪个方向。第三，因现实世界的人发出的语音声音与vr设备播放出的语言声音的物理传播路径和音色等不同，声音会有明显差异，所以在佩戴vr设备聆听虚拟世界声音的同时去识别现实世界人的说话声，会造成虚拟世界与现实世界的巨大割裂感，降低了虚拟世界的真实感，影响到对虚拟世界的体验。

2、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种基于可穿戴设备的音频处理方法、装置、设备及存储介质，旨在解决如何在佩戴可穿戴设备与现实中人进行交流时，降低交流障碍的同时不影响到对虚拟世界的体验的技术问题。

2、为实现上述目的，本技术提出一种基于可穿戴设备的音频处理方法，所述的方法包括：

3、在接收到音频采集阵列采集的用户交流音频时，根据设备参考信号和佩戴者参考音频信号对所述用户交流音频进行回声消除处理，得到目标交流信号；

4、对所述目标交流信号进行交流方向预测，确定所述目标交流信号的音频方向角；

5、根据所述音频方向角和目标头部传输函数对所述目标交流信号进行信号增强，得到立体交流信号；

6、对设备播放信号和所述立体交流信号进行混音处理，并对混合音频信号进行播放。

7、在一实施例中，所述根据设备参考信号和佩戴者参考音频信号对所述用户交流音频进行回声消除处理，得到目标交流信号，包括：

8、根据设备参考信号对所述用户交流音频进行回声消除处理，得到第一处理信号；

9、对所述第一处理信号进行去混响处理，得到第二处理信号；

10、根据佩戴者参考音频信号对所述第二处理信号进行回声消除处理，得到目标交流信号。

11、在一实施例中，所述根据所述音频方向角和目标头部传输函数对所述目标交流信号进行信号增强，得到立体交流信号，包括：

12、根据预设波束形成算法和所述音频方向角对所述目标交流信号进行处理，得到处理音频信号；

13、对所述处理音频信号进行语音增强，得到增强音频信号；

14、根据目标头部传输函数和所述音频方向角对所述增强音频信号进行音频处理，得到立体交流信号。

15、在一实施例中，所述根据目标头部传输函数和所述音频方向角对所述增强音频信号进行音频处理，得到立体交流信号，包括：

16、根据所述音频方向角在预设函数数据库中选取各声道的目标传递函数；

17、根据各声道的目标传递函数进行滤波器生成，得到各声道的目标传递函数滤波器；

18、根据各声道的目标传递函数滤波器分别对所述增强音频信号进行音频处理，得到各声道的交流信号；

19、对各声道的交流信号进行音频混合，得到立体交流信号。

20、在一实施例中，所述根据设备参考信号和佩戴者参考音频信号对所述用户交流音频进行回声消除处理，得到目标交流信号之前，还包括：

21、获取设备佩戴者的初始用户音频；

22、根据所述设备参考信号对所述初始用户音频进行回声消除处理，得到第一用户音频；

23、对所述第一用户音频进行去混响处理，并根据处理结果得到佩戴者参考音频信号。

24、在一实施例中，所述根据处理结果得到佩戴者参考音频信号，包括：

25、根据预设波束成形算法确定所述设备佩戴者的目标部位方向；

26、根据处理结果确定第二用户音频；

27、根据所述目标部位方向和所述预设波束成形算法对所述第二用户音频进行音频处理，得到佩戴者参考音频信号。

28、在一实施例中，所述对所述目标交流信号进行交流方向预测，确定所述目标交流信号的音频方向角，包括：

29、对所述目标交流信号进行频域分析，得到所述目标交流信号的频域分析结果；

30、根据所述频域分析结果和预设角度估计技术对所述目标交流信号进行交流方向预测，得到预测水平角和预测俯仰角；

31、根据所述预测水平角和所述预测俯仰角确定所述目标交流信号的音频方向角。

32、此外，为实现上述目的，本技术还提出一种基于可穿戴设备的音频处理装置，所述基于可穿戴设备的音频处理装置包括：处理模块，用于在接收到音频采集阵列采集的用户交流音频时，根据设备参考信号和佩戴者参考音频信号对所述用户交流音频进行回声消除处理，得到目标交流信号；

33、预测模块，用于对所述目标交流信号进行交流方向预测，确定所述目标交流信号的音频方向角；

34、增强模块，用于根据所述音频方向角和目标头部传输函数对所述目标交流信号进行信号增强，得到立体交流信号；

35、播放模块，用于对设备播放信号和所述立体交流信号进行混音处理，并对混合音频信号进行播放。

36、此外，为实现上述目的，本技术还提出一种可穿戴设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的基于可穿戴设备的音频处理方法的步骤。

37、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于可穿戴设备的音频处理方法的步骤。

38、本技术提供了一种基于可穿戴设备的音频处理方法，本技术通过在接收到音频采集阵列采集的用户交流音频时，根据设备参考信号和佩戴者参考音频信号对所述用户交流音频进行回声消除处理，得到目标交流信号；对所述目标交流信号进行交流方向预测，确定所述目标交流信号的音频方向角；根据所述音频方向角和目标头部传输函数对所述目标交流信号进行信号增强，得到立体交流信号；对设备播放信号和所述立体交流信号进行混音处理，并对混合音频信号进行播放。通过上述方式，利用设备参考信号和佩戴者参考音频信号对音频采集阵列采集的用户交流音频进行回声消除，通过预测的音频方向角和目标头部传输函数对目标交流信号进行信号增强，最后对设备参考信号和处理得到的立体交流信号进行混音并播放，使用户在佩戴可穿戴设备进行虚拟世界体验的同时，能够清晰获知现实环境的周围用户的说话内容，并明确周围用户的所在方位，不仅降低了与现实环境中的人语言交流的障碍，增强了用户与现实环境的周围用户的语言交流，还降低了因与现实中人语言交流而造成的对虚拟世界体验的影响。