音频处理方法、装置、设备及存储介质与流程

本申请实施例涉及扩展现实(extended reality，xr)，尤其涉及一种音频处理方法、装置、设备及存储介质。

背景技术：

1、目前，xr技术的应用场景越来越广泛了，具体包含虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)和混合现实(mixed reality，mr)等。用户在佩戴好xr设备而进入按照不同虚拟场景构建的虚拟空间后，通常会将真实场景下收集到的音频数据，在虚拟空间内播放出来，以实现虚拟场景下的音效互动。

2、通常情况下，在虚拟空间内会直接将收集到的真实场景下的音频进行播放，使得空间音频较为单调，音频效果不理想。

技术实现思路

1、本申请实施例提供一种音频处理方法、装置、设备及存储介质，通过分析虚拟空间内的不同用户双耳音频，实现虚拟空间内的音效多样化，提升音频效果。

2、第一方面，本申请实施例提供了一种音频处理方法，应用于xr设备，该方法包括：

3、进入虚拟空间；

4、获取真实场景下的近场音频；

5、根据所述虚拟空间的场景类型和用户位姿数据，对所述近场音频进行混音处理，得到对应的用户双耳音频。

6、第二方面，本申请实施例提供了一种音频处理装置，配置于xr设备，该装置包括：

7、虚拟空间进入模块，用于进入虚拟空间；

8、近场音频获取模块，用于获取真实场景下的近场音频；

9、音频处理模块，用于根据所述虚拟空间的场景类型和用户位姿数据，对所述近场音频进行混音处理，得到对应的用户双耳音频。

10、第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

11、处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行本申请第一方面中提供的音频处理方法。

12、第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如本申请第一方面中提供的音频处理方法。

13、第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如本申请第一方面中提供的音频处理方法。

14、本申请实施例提供的一种音频处理方法、装置、设备及存储介质，进入虚拟空间后，会获取真实场景下的近场音频。然后，根据虚拟空间的场景类型和用户位姿数据，对近场音频进行混音处理，即可得到对应的用户双耳音频，使得虚拟空间内的不同用户收听到不同的空间音效，实现虚拟空间内的音效多样化，从而提升了虚拟空间的音频效果，在xr场景下带来更为沉浸式的音频互动。

技术特征：

1.一种音频处理方法，其特征在于，应用于扩展现实xr设备，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟空间的场景类型和用户位姿数据，对所述近场音频进行混音处理，得到对应的用户双耳音频，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述虚拟空间的场景类型，对所述近场音频进行混音处理，得到所述虚拟空间的音场音频，包括：

4.根据权利要求3所述的方法，其特征在于，所述音频调节参数至少包括音频反射参数和音频传播衰减参数。

5.根据权利要求2所述的方法，其特征在于，所述根据所述用户位姿数据，对所述音场音频进行双耳渲染，得到所述虚拟空间内的用户双耳音频，包括：

6.根据权利要求5所述的方法，其特征在于，所述双耳位姿差异包括面向所述音场音频的双耳相位差和双耳时间差。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取真实场景下的近场音频，包括：

8.根据权利要求7所述的方法，其特征在于，所述真实场景包括由至少两个收音设备组成的实景收音结构，且所述实景收音结构内的收音设备与所述真实场景内的声道一一对应。

9.一种音频处理装置，其特征在于，配置于xr设备，所述装置包括：

10.一种电子设备，其特征在于，包括：

11.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1-8中任一项所述的音频处理方法。

12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-8任一项所述的音频处理方法。

技术总结本申请提供了一种音频处理方法、装置、设备及存储介质。该方法包括：进入虚拟空间；获取真实场景下的近场音频；根据所述虚拟空间的场景类型和用户位姿数据，对所述近场音频进行混音处理，得到对应的用户双耳音频。本申请实施例中，根据虚拟空间的场景类型和用户位姿数据，对近场音频进行混音处理，即可得到对应的用户双耳音频，使得虚拟空间内的不同用户收听到不同的空间音效，实现虚拟空间内的音效多样化，从而提升了虚拟空间的音频效果，在XR场景下带来更为沉浸式的音频互动。技术研发人员：黄祺受保护的技术使用者：北京字跳网络技术有限公司技术研发日：技术公布日：2024/2/1