音频处理方法、电子设备及存储介质与流程

本技术实施例涉及数据处理领域，尤其涉及一种音频处理方法、电子设备及存储介质。

背景技术：

1、随着科学技术的飞速发展以及人们对于更佳音效的追求，越来越多的电子设备使用空间音频技术，为用户营造多维度的音响效果，以使用户产生身临其境的听觉体验。

2、用户在使用电子设备时，如果电子设备同时播放了多个声音，这会导致用户听到的声音比较嘈杂，用户会难以听清电子设备同时播放的多个声音，用户体验比较差。

技术实现思路

1、本技术实施例提供一种音频处理方法、电子设备及存储介质，可以提升用户感兴趣的音频的声音的清晰程度，提升用户体验。

2、为达到上述目的，本技术的实施例采用如下技术方案：

3、第一方面，提供了一种音频处理方法，该方法可以应用于电子设备，该电子设备可以是扩展现实设备、增强现实设备、混合现实设备等等具有空间音频播放能力的电子设备。该方法包括：电子设备获取用户的兴趣角度；用户的兴趣角度用于表征该用户感兴趣的方向；如，该用户注视的方向，该用户进行交互的方向等等。之后，电子设备响应于用户的兴趣角度为第一兴趣角度，播放目标音频。接下来，电子设备响应于用户的兴趣角度从第一兴趣角度变化为第二兴趣角度，播放调整后的目标音频；调整后的目标音频中处于第一音源角度的音频的信号强度大于调整前处于第一音源角度的音频的信号强度。音源角度用于表征发出音频的音源与用户之间的位置关系，如表征发出音频的音源对象与用户之间的方向关系。其中，第一音源角度与第二兴趣角度相匹配，第一音源角度与第一兴趣角度不匹配；第二音源角度与第二兴趣角度、第一兴趣角度不匹配。

4、在上述方法中，目标音频中的音频会跟随用户的兴趣角度变化。当用户的兴趣角度与第一音源角度匹配时，也就表示用户对该第一音源角度的音频比较感兴趣，电子设备就会增强第一音源角度的音频。这样，用户感兴趣的音频就会在目标音频中被凸显出来；那么，用户感兴趣的音频的清晰程度就会被提升，用户就可以将其感兴趣的音频听得更加清楚，可以提升用户的使用体验。

5、在第一方面的一种可能的设计中，上述调整后的目标音频中处于第二音源角度的音频的信号强度保持不变；或者，调整后的目标音频中处于第二音源角度的音频的信号强度变小。其中，第二音源角度与第一兴趣角度、第二兴趣角度不匹配。

6、在这种设计中，通过在目标音频中未与用户兴趣角度匹配的音频的信号强度（如，第二兴趣角度的音频）保持不变。这样可以使得目标音频中用户感兴趣的音频被凸显得更加明显；用户感兴趣的音频的清晰程度就会被提升，用户就可以将其感兴趣的音频听得更加清楚。

7、在第一方面的一种可能的设计中，上述第一音源角度与第一兴趣角度相匹配包括：第一音源角度与第一兴趣角度之间的差异小于或等于预设角度阈值。上述第二音源角度与第一兴趣角度不匹配包括：第二音源角度与第一兴趣角度之间的差异大于预设角度阈值。

8、在第一方面的一种可能的设计中，上述方法还包括：电子设备响应于用户的兴趣角度从第二兴趣角度变化为第三兴趣角度，增大目标音频包括的音频的信号强度，并播放增大后的目标音频。其中，第三兴趣角度与第一音源角度之间的差异，小于第二兴趣角度与第一音源角度之间的差异，增大后的目标音频中处于第一音源角度的音频的信号强度大于增大前处于第一音源角度的音频的信号强度。

9、在这种设计中，音频的信号强度还会基于用户的兴趣角度与音频的音源角度之间的差异进行不同程度的增大。在用户的兴趣角度与音频的音源角度之间的差异不断减小的过程中，用户感兴趣的音频的声音强度也会不断增大。这样，用户就会在听觉上感受到，音频的声音是持续、稳定增大的，不会突然变大。由此，既可以使用户将用户感兴趣的音频听得更加清楚，又可以使得用户感兴趣的音频的变化比较稳定，不会产生突变，可以进一步地提升用户的使用体验。

10、在第一方面的一种可能的设计中，上述方法还包括：电子设备响应于用户的兴趣角度从第二角度变化为第四角度，播放减小后的目标音频。第四兴趣角度与第一音源角度未匹配。减小后的目标音频中处于的第一音源角度的音频的信号强度小于减小前处于第一音源角度的音频的信号强度。

11、在第一方面的一种可能的设计中，目标音频包括多个声道的音频数据（如，包括左声道的音频数据和右声道的音频数据）。上述电子设备响应于用户的兴趣角度为第一兴趣角度，播放目标音频，包括：电子设备从目标音频中分离得到每个声道的音频数据。电子设备对于任一声道进行子带划分得到多个子带的音频数据。对于多个子带中的每个子带，电子设备根据子带的音源角度，对子带的音频数据进行强度处理，得到强度处理后的目标音频。之后，电子设备播放强度处理后的目标音频。其中，子带的音源角度可以用于表征子带对应的音频与用户之间的位置关系。上述强度处理包括：在子带的音源角度与第一兴趣角度的差值小于或等于预设角度阈值的情况下，电子设备增强子带的音频信号强度，在子带的音源角度与第一兴趣角度的差值大于预设角度阈值的情况下，子带的音频信号强度保持不变。

12、在这种设计中，电子设备播放的强度处理后的目标音频中，与用户的兴趣角度匹配的子带的音频信号强度就会被增大。也就是说，用户感兴趣的子带的音频就会被凸显出来，用户就可以将其感兴趣的子带的音频听得更加清楚，可以提升用户的使用体验。

13、在第一方面的一种可能的设计中，上述子带的音源角度是根据子带对应的每个声道之间的音频差异以及三角函数关系确定的；上述音频差异包括：相位差异、振幅差异、频率差异、能量差异和波形差异之中的一种或多种。

14、在这种设计中，电子设备可以通过子带在每个声道上的音频差异准确地得到子带的音源角度。

15、在第一方面的一种可能的设计中，上述电子设备增强子带的音频信号强度，包括：基于子带的音源角度与第一兴趣角度之间的差异，得到子带的声音强度的增益，增益与差异负相关，基于增益增强子带的音频信号强度。

16、在这种设计中，电子设备可以基于子带的音源角度与第一兴趣角度之间的差异，得到子带的声音强度的增益。差异越小，增益越大，也就是说用户感兴趣的子带的声音强度也就越大。这会使得，在第一兴趣角度与音源角度之间的差异不断减小的过程中，用户感兴趣的子带的声音是持续、稳定增大的，不会突然变大。由此，既可以使用户将其感兴趣的子带的音频听得更加清楚，又可以使得子带的音频强度变化得比较稳定，不会产生突变，可以进一步地提升用户的使用体验。

17、在第一方面的一种可能的设计中，电子设备响应于用户的兴趣角度为第一兴趣角度，播放目标音频，包括：电子设备从目标音频中分离得到每个音源的音频数据；每个音源对应多个声道的音频数据；对于多个音源中每个音源，电子设备根据音源的音源角度，对音源的音频数据进行强度处理；强度处理包括：在音源的音源角度与第一兴趣角度的差值小于或等于预设角度阈值的情况下，增强音源对应的每个声道的音频信号强度，在音源的音源角度与第一兴趣角度的差值大于预设角度阈值的情况下，音源的音频信号强度保持不变。接下来，电子设备播放强度处理后的目标音频。

18、在这种设计中，电子设备播放的强度处理后的目标音频中，与用户的兴趣角度匹配的音源的音频信号强度就会被增大。也就是说，用户感兴趣的音源的音频就会被凸显出来，用户就可以将其感兴趣的音源的音频听得更加清楚，可以提升用户的使用体验。

19、在第一方面的一种可能的设计中，音源的音源角度根据音源对应的多个声道之间的音频差异以及三角函数关系确定；音频差异包括：相位差异、振幅差异、频率差异、能量差异和波形差异之中的一种或多种。

20、在这种设计中，电子设备可以通过音源在每个声道上的音频差异准确地得到子带的音源角度。

21、在第一方面的一种可能的设计中，增强音源对应的每个声道的音频信号强度，包括：电子设备基于音源的音源角度与第一兴趣角度之间的差异，得到音源的声音强度的增益，增益与差异负相关。之后电子设备基于增益增强每个声道的音频信号强度。

22、在这种设计中，电子设备可以基于音源的音源角度与第一兴趣角度之间的差异，得到子带的声音强度的增益。差异越小，增益越大，也就是说用户感兴趣的子带的声音强度也就越大。这会使得，在第一兴趣角度与音源角度之间的差异不断减小的过程中，用户感兴趣的音源的声音是持续、稳定增大的，不会突然变大。由此，既可以使用户将其感兴趣的音源的声音听得更加清楚，又可以使得子带的音频强度变化得比较稳定，不会产生突变，可以进一步地提升用户的使用体验。

23、在第一方面的又一种可能的设计中，上述电子设备获取用户的兴趣角度，包括：电子设备响应于用户的交互操作得到用户的兴趣角度。其中，上述交互操作包括用户的指示操作，以及用户的语音识别操作。在这种设计中，用户可以通过交互操作向电子设备输入该用户感兴趣的方向，这样，电子设备就可以准确地获取到用户的兴趣方向。

24、在第一方面的另一种可能的设计中，电子设备包括摄像头。上述用户的兴趣角度包括用户的交互角度，用户的交互角度用于表征与用户产生交互的方向。上述电子设备获取用户的兴趣角度，包括：电子设备通过摄像头拍摄视场图片，基于视场图片得到交互角度。

25、在这种设计中，考虑到与用户进行互动的方向可以在一定程度上反应出用户感兴趣的方向。基于此，电子设备可以通过摄像头拍摄视场图片，并从视场图片中得到交互角度。这样，可以比较准确地获取到用户的兴趣方向。

26、在第一方面的又一种可能的设计中，电子设备还可以基于摄像头拍摄得到的视场图片对眼动跟踪传感器采集到的注视角度进行校正。这样，感觉准确地确定出用户的注视方向，也就是说，可以提高电子设备获取的注视角度的准确程度。

27、在第一方面的另一种可能的设计中，上述电子设备获取用户的兴趣角度包括：电子设备基于音频在电子设备坐标系中的坐标，得到用户的兴趣角度。

28、第二方面，提供了一种音频处理方法，该方法可以应用于电子设备，该电子设备可以是扩展现实设备、增强现实设备、混合现实设备等等具有空间音频播放能力的电子设备。该方法包括：电子设备获取用户的兴趣角度；用户的兴趣角度用于表征该用户感兴趣的方向；如，该用户注视的方向，该用户进行交互的方向等等。之后，电子设备响应于用户的兴趣角度为第一兴趣角度，播放目标音频。接下来，电子设备响应于用户的兴趣角度从第一兴趣角度变化为第二兴趣角度，调整目标音频包括的音频的信号强度，并播放调整后的目标音频；

29、调整后的目标音频中处于第三音源角度的音频的信号强度小于调整后处于第三音源角度的音频的信号强度。音源角度用于表征发出音频的音源与用户之间的位置关系，如表征发出音频的音源对象与用户之间的方向关系。其中，第一音源角度与第二兴趣角度相匹配，第一音源角度与第一兴趣角度不匹配；第三音源角度与第二兴趣角度、第一兴趣角度不匹配。

30、在上述方法中，目标音频中的音频会跟随用户的兴趣角度变化。当用户的兴趣角度与第一音源角度匹配时，也就表示用户对该第一音源角度的音频比较感兴趣，电子设备就会减弱其他音源角度如第三音源角度的音频。这样，相对来讲，第一音源角度的音频就会在目标音频中被凸显出来；那么，用户感兴趣的音频的清晰程度就会被提升，用户就可以将其感兴趣的音频听得更加清楚，可以提升用户的使用体验。

31、第三方面，提供了一种电子设备，该电子设备包括存储器、一个或多个处理器，存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令。当计算机指令被处理器执行时，使得电子设备可以执行上述第一方面及第一方面任一种可能的设计所提供的方法；或者使得电子设备可以执行上述第二方面及第二方面任一种可能的设计所提供的方法。

32、第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备可以执行上述第一方面及第一方面任一种可能的设计所提供的方法；或者使得电子设备可以执行上述第二方面及第二方面任一种可能的设计所提供的方法。

33、第五方面，提供了一种包含指令的计算机程序产品，该计算机程序产品在电子设备上运行时，使得电子设备可以执行上述第一方面及第一方面任一种可能的设计所提供的方法；或者使得电子设备可以执行上述第二方面及第二方面任一种可能的设计所提供的方法。

34、第六方面，提供了一种音频处理芯片，该音频处理芯片应用于包括存储器和扬声器的电子设备，该芯片包括至少一个处理器和至少一个接口电路，处理器和接口电路可以通过线路互联，接口电路用于从电子设备的存储器中接收信号，并向处理器发送信号，该信号包括存储器中存储的计算机指令；当处理器执行该计算机指令时，电子设备执行上述第一方面及第一方面任一种可能的设计所提供的方法；或者执行上述第二方面及第二方面任一种可能的设计所提供的方法。

35、第七方面，提供了一种音频模组，该音频模组包括上述第六方面提供的音频处理芯片和扬声器。

36、其中，第二方面至第七方面中任一种设计方式所带来的技术效果可以参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。