虚拟内容的制作方法

示例实施例涉及输出虚拟内容，例如输出表示虚拟场景的虚拟内容，该虚拟场景可以包括一个或多个音频源。

背景技术：

1、术语扩展现实(xr)有时被用于是指涉及虚拟内容的一系列技术和方法，该虚拟内容可以是视觉和/或听觉内容。常见的示例是虚拟现实(vr)、增强现实(ar)和混合现实(mr)。vr可以是指通过用户设备(诸如vr头戴式设备或手持设备)按照视频和/或音频内容渲染虚拟场景，其中可以基于用户移动来更新虚拟场景。ar是类似的，但涉及叠加的虚拟内容的输出，以增强通过用户设备(诸如眼镜、护目镜或者甚至手持设备的摄像头)看见的真实世界空间的视图。因此，用户可以能够观看他们周围的真实世界环境，用可基于他们的位置所提供的虚拟内容来增强或补充。虚拟内容可以包括例如多媒体内容，诸如图片、照片、视频、图表、文本信息和听觉内容。mr类似于ar，但可能被认为不同，因为一些内容在锚点处被插入真实世界空间中，以给出内容是真实环境的一部分的错觉。

2、在一些情况下，用户可以使用六自由度(6dof)来探索虚拟内容(例如虚拟场景)，其中用户或用户设备的旋转和平移运动都允许用户在场景中的虚拟物体周围(例如后面)移动。

技术实现思路

1、针对本发明的各种实施例寻求的保护范围由独立权利要求限定。在本说明书中描述的未落入独立权利要求范围的实施例和特征(如果有的话)将被解释为可用于理解本发明的各种实施例的示例。

2、根据第一方面，描述了一种装置，其包括用于以下操作的部件：提供表示虚拟场景的一个或多个声学特性的数据，该虚拟场景用于输出到与用户相关联的用户设备，并包括在相应位置处的一个或多个音频源；基于用户相对于一个或多个音频源的位置和虚拟场景的一个或多个声学特性，识别不满足预定准则的一个或多个音频源；经由与用户设备相关联的用户接口，提供分别与所识别的一个或多个音频源相对应的一个或多个指示符；以及响应于选择一个或多个指示符中的一个指示符，改变虚拟场景中的用户位置，以使得用户更靠近对应的音频源。

3、识别部件可被配置为通过以下操作来识别不满足预定准则的一个或多个音频源中的音频源：根据从音频源发出的声音估计或测量在用户位置处的一个或多个声学效应；以及识别相对于在用户位置处从音频源直接接收的声音而大于或高于预定阈值的一个或多个不良声学效应。

4、一个或多个不良声学效应可以包括混响、反射、扩散和衰减中的一者或多者。

5、表示虚拟场景的一个或多个声学特性的数据可以包括表示虚拟场景中的一个或多个几何元素以及与一个或多个几何元素相关联的一个或多个声学参数的相应集合的数据。

6、一个或多个几何元素可包括以下一项或多项：虚拟场景的大小，虚拟场景的形状，虚拟场景的边界，和虚拟场景内的对象。

7、一个或多个声学参数的集合可包括以下一项或多项：混响参数，干湿比参数，和材料参数。

8、该装置还可包括用于以下操作的部件：接收指示虚拟场景中的要优先的一个或多个音频源的子集的数据，并且其中，识别部件被配置为：从所述子集中识别不满足预定准则的一个或多个音频源。

9、该装置还可包括用于以下操作的部件：提供表示用户在其中消费或将消费虚拟场景的真实世界空间的一个或多个声学特性的数据，并且其中，识别部件被配置为：还基于真实世界空间的一个或多个声学特性，识别不满足预定准则的一个或多个音频源。

10、表示真实世界空间的一个或多个声学特性的数据可包括收听者空间描述格式(lsdf)文件。

11、表示虚拟场景的一个或多个声学特性的数据可以包括编码器输入格式(eip)文件。

12、用户接口可包括在用户设备的显示屏上显示一个或多个指示符的图形用户界面(gui)。

13、一个或多个指示符可以包括对应的音频源的图形表示和/或对应的音频源相对于用户位置的方向。

14、gui可以在用户设备的显示屏上显示多个指示符和对应的音频源相对于用户位置的相应方向，其中，响应于选择多个指示符中的一个指示符，gui可以更新以显示其他指示符及其更新的相应位置和/或返回到虚拟场景中的前一位置的选项。

15、用于改变用户的位置的部件可以被配置为使得用户移动到与对应的音频源相邻。

16、虚拟场景可以包括扩展现实xr虚拟场景，其包括与音频源相对应的视觉内容。

17、用户设备可以包括xr头戴式设备，其包括显示屏和一组耳机。

18、根据第二方面，描述了一种方法，其包括：提供表示虚拟场景的一个或多个声学特性的数据，该虚拟场景用于输出到与用户相关联的用户设备，并包括在相应位置处的一个或多个音频源；基于用户相对于一个或多个音频源的位置和虚拟场景的一个或多个声学特性，识别不满足预定准则的一个或多个音频源；经由与用户设备相关联的用户接口，提供分别与所识别的一个或多个音频源相对应的一个或多个指示符；以及响应于选择一个或多个指示符中的一个指示符，改变虚拟场景中的用户位置，以使得用户更靠近对应的音频源。

19、识别不满足预定准则的一个或多个音频源中的音频源可包括：根据从音频源发出的声音估计或测量在用户位置处的一个或多个声学效应；以及识别相对于在用户位置处从音频源直接接收的声音而大于或高于预定阈值的一个或多个不良声学效应。

20、一个或多个不良声学效应可以包括混响、反射、扩散和衰减中的一者或多者。

21、表示虚拟场景的一个或多个声学特性的数据可以包括表示虚拟场景中的一个或多个几何元素以及与一个或多个几何元素相关联的一个或多个声学参数的相应集合的数据。

22、一个或多个几何元素可包括以下一项或多项：虚拟场景的大小，虚拟场景的形状，虚拟场景的边界，和虚拟场景内的对象。

23、一个或多个声学参数的集合可包括以下一项或多项：混响参数，干湿比参数，和材料参数。

24、该方法还可包括：接收指示虚拟场景中的要优先的一个或多个音频源的子集的数据，并且其中，识别部件被配置为：从子集中识别不满足预定准则的一个或多个音频源。

25、该方法还可以包括：提供表示用户在其中消费或将消费虚拟场景的真实世界空间的一个或多个声学特性的数据，并且其中，识别不满足预定准则的一个或多个音频源还可以基于真实世界空间的一个或多个声学特性。

26、表示真实世界空间的一个或多个声学特性的数据可以包括收听者空间描述格式(lsdf)文件。

27、表示虚拟场景的一个或多个声学特性的数据可以包括编码器输入格式(eip)文件。

28、用户接口可包括在用户设备的显示屏上显示一个或多个指示符的图形用户界面(gui)。

29、一个或多个指示符可包括对应的音频源的图形表示和/或对应的音频源相对于用户位置的方向。

30、gui可以在用户设备的显示屏上显示多个指示符和对应的音频源相对于用户位置的相应方向，其中，响应于选择多个指示符中的一个指示符，gui可以更新以显示其他指示符及其更新的相应位置和/或返回到虚拟场景中的前一位置的选项。

31、改变用户的位置可包括：将用户移动到与对应的音频源相邻。

32、述虚拟场景可以包括扩展现实xr虚拟场景，其包括与音频源相对应的视觉内容。

33、用户设备可以包括xr头戴式设备，其包括显示屏和一组耳机。

34、根据第三方面，提供了一种包括指令集的计算机程序产品，，所述指令集当在装置上执行时被配置为使得装置执行任一前述方法定义的方法。

35、根据第四方面，提供了一种非暂时性计算机可读介质，包括在其上存储的用于执行方法的程序指令，该方法包括：提供表示虚拟场景的一个或多个声学特性的数据，该虚拟场景用于输出到与用户相关联的用户设备，并包括在相应位置处的一个或多个音频源；基于用户相对于一个或多个音频源的位置和虚拟场景的一个或多个声学特性，识别不满足预定准则的一个或多个音频源；经由与用户设备相关联的用户接口，提供分别与所识别的一个或多个音频源相对应的一个或多个指示符；以及响应于选择一个或多个指示符中的一个指示符，改变虚拟场景中的用户位置，以使得用户更靠近对应的音频源。

36、第四方面的程序指令还可以执行根据第二方面的任一前述方法定义的操作。

37、根据第五方面，提供了一种装置，包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，该计算机程序代码当由至少一个处理器执行时使得该装置：提供表示虚拟场景的一个或多个声学特性的数据，该虚拟场景用于输出到与用户相关联的用户设备，并包括在相应位置处的一个或多个音频源；基于用户相对于一个或多个音频源的位置和虚拟场景的一个或多个声学特性，识别不满足预定准则的一个或多个音频源；经由与用户设备相关联的用户接口，提供分别与所识别的一个或多个音频源相对应的一个或多个指示符；以及响应于选择一个或多个指示符中的一个指示符，改变虚拟场景中的用户位置，以使得用户更靠近对应的音频源。

38、第五方面的计算机程序代码还可以执行根据第二方面的任一前述方法定义的操作。