用于虚拟现实（VR）、增强现实（AR）和混合现实（MR）系统的分布式音频捕获技术的制作方法

本公开涉及能够在诸如虚拟现实、增强现实和混合现实系统的应用中使用的分布式音频捕获技术。

背景技术：

1、现代计算和显示技术促进了虚拟现实、增强现实和混合现实系统的发展。虚拟现实或“vr”系统为用户创建模拟的环境来体验。这可以通过将计算机生成的图像通过头戴式显示器呈现给用户来完成。该图像创建让用户沉浸在模拟环境中的感觉体验。虚拟现实场景通常仅涉及计算机生成的图像的呈现，而不是还包括实际的真实世界的图像的呈现。

2、增强现实系统通常用模拟元素来补充真实世界环境。例如，增强现实或“ar”系统可以通过头戴式显示器向用户提供周围真实世界环境的视图。然而，计算机生成的图像也能够呈现在显示器上，以增强现实世界环境。该计算机生成的图像可以包括与现实世界环境相关的元素。这样的元素可以包括模拟文本、图像、对象等。混合现实或mr系统还将模拟对象引入到现实世界环境中，但是这些对象通常具有比ar系统更大程度的交互性。

3、图1描绘了示例的ar/mr场景1，其中用户看到以背景中的人、树、建筑为特征的真实世界的公园设置6以及实体平台20。除了这些项目以外，计算机生成的图像也呈现给用户。计算机生成的图像可以包括例如站在真实世界的平台20上的机器人雕像10，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色2，尽管这些元素2、10不实际存在于真实的世界环境中。

4、生成有助于虚拟图像元素的自然感觉、令人信服的呈现的vr/ar/mr技术可能具有挑战性。但是音频可以帮助vr/ar/mr体验更加身临其境。因此，需要用于这些类型系统的改进的音频技术。

技术实现思路

1、在一些实施例中，一种系统包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中监测设备被配置为从声源捕获多个音频信号并捕获多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及处理器，该处理器被配置为接收多个音频信号和多个位置跟踪信号，该处理器还被配置为基于音频信号和位置跟踪信号来生成由声源创建的声波场的至少一部分的表示。

2、在一些实施例中，一种设备包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式监测设备接收从声源捕获的多个音频信号，从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号生成由声源创建的声波场的至少一部分的表示；以及存储音频信号和位置跟踪信号的存储器。

3、在一些实施例中，一种方法包括：从多个分布式监测设备接收从声源捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号生成由声源创建的声波场的至少一部分的表示。

4、在一些实施例中，一种系统包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中监测设备被配置为捕获环境中的多个音频信号并捕获多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及处理器，该处理器被配置为接收多个音频信号和多个位置跟踪信号，该处理器还被配置为基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性。

5、在一些实施例中，一种设备包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式监测设备接收在环境中捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性；以及存储音频信号和位置跟踪信号的存储器。

6、在一些实施例中，一种方法包括：从多个分布式监测设备接收在环境中捕获的多个音频信号；从多个监测设备接收多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及基于音频信号和位置跟踪信号确定环境的一个或多个声学特性。

7、在一些实施例中，一种系统包括：多个分布式摄像机，位于空间的周边，以便从多个不同的视点捕获空间的中心部分的多个视频；多个分布式麦克风，位于空间的周边，以便在捕获多个视频期间捕获多个音频信号；以及处理器，被配置为接收多个视频、多个音频信号和关于空间内每个麦克风的位置的位置信息，处理器还被配置为基于音频信号和位置信息生成空间的声波场的至少一部分的表示。

8、在一些实施例中，一种设备，包括：处理器，被配置为执行包括如下步骤的方法：从多个分布式摄像机接收从多个视点捕获的场景的多个视频；从多个分布式麦克风接收在捕获多个视频期间捕获的多个音频信号；接收关于多个麦克风的位置的位置信息；以及基于音频信号和位置信息生成声波场的至少一部分的表示；以及存储音频信号和位置跟踪信号的存储器。

9、在一些实施例中，一种方法包括：从多个分布式摄像机接收从多个视点捕获的场景的多个视频；从多个分布式麦克风接收在捕获多个视频期间捕获的多个音频信号；接收关于多个麦克风的位置的位置信息；以及基于音频信号和位置信息生成声波场的至少一部分的表示。

技术特征：

1.一种系统，包括：

2.根据权利要求1所述的系统，其中，所述处理器还被配置为将所述多个视频与所述声波场进行组合以产生所述空间的体积视听表示。

3.根据权利要求1所述的系统，其中，所述多个麦克风间隔开以提供所述空间的360°覆盖。

4.根据权利要求1所述的系统，其中，所述声波场的表示包括对于多个时间在网格上的多个空间点中的每一个处的声音值。

5.根据权利要求1所述的系统，其中，所述处理器还被配置为将所述声波场映射到虚拟、增强或混合现实环境。

6.根据权利要求1所述的系统，其中，使用所述声波场的表示，所述处理器还被配置为确定所述声波场内的所选的位置处的虚拟音频信号，所述虚拟音频信号估计在所选的位置处由麦克风已经检测到的音频信号。

7.根据权利要求6所述的系统，其中，所述位置是基于虚拟或增强现实环境内的虚拟、增强或混合现实系统的用户的位置而被选择的。

8.根据权利要求6所述的系统，其中，所述处理器还被配置为使用所述多个视频确定所选的位置的虚拟视点处的虚拟视频信号，所述虚拟视频信号估计在所述虚拟视点处由摄像机已经捕获到的视频信号。

9.一种设备，包括：

10.根据权利要求9所述的设备，其中，所述处理器还被配置为将所述多个视频与所述声波场进行组合以产生所述场景的体积视听表示。

11.根据权利要求9所述的设备，其中，所述多个麦克风间隔开以提供所述空间的360°覆盖。

12.根据权利要求9所述的设备，其中，所述声波场的表示包括对于多个时间在网格上的多个空间点中的每一个处的声音值。

13.根据权利要求9所述的设备，其中，所述处理器还被配置为将所述声波场映射到虚拟、增强或混合现实环境。

14.根据权利要求9所述的设备，其中，使用所述声波场的表示，所述处理器还被配置为确定所述声波场内的所选的位置处的虚拟音频信号，所述虚拟音频信号估计在所选的位置处由麦克风已经检测到的音频信号。

15.根据权利要求14所述的设备，其中，所述位置是基于虚拟或增强现实环境内的虚拟、增强或混合现实系统的用户的位置而被选择的。

16.根据权利要求14所述的设备，其中，所述处理器还被配置为使用所述多个视频确定所选的位置的虚拟视点处的虚拟视频信号，所述虚拟视频信号估计在所述虚拟视点处由摄像机已经捕获到的视频信号。

17.一种方法，包括：

18.根据权利要求17所述的方法，还包括将所述多个视频与所述声波场进行组合以产生所述场景的体积视听表示。

19.根据权利要求17所述的方法，其中，所述多个麦克风间隔开以提供所述空间的360°覆盖。

20.根据权利要求17所述的方法，其中，所述声波场的表示包括对于多个时间在网格上的多个空间点中的每一个处的声音值。

21.根据权利要求17所述的方法，还包括将所述声波场映射到虚拟、增强或混合现实环境。

22.根据权利要求17所述的方法，还包括：使用所述声波场的表示，确定所述声波场内的所选的位置处的虚拟音频信号，所述虚拟音频信号估计在所选的位置处由麦克风已经检测到的音频信号。

23.根据权利要求22所述的方法，其中，所述位置是基于虚拟或增强现实环境内的虚拟、增强或混合现实系统的用户的位置而被选择的。

24.根据权利要求22所述的方法，还包括使用所述多个视频确定所选的位置的虚拟视点处的虚拟视频信号，所述虚拟视频信号估计在所述虚拟视点处由摄像机已经捕获到的视频信号。

技术总结本发明涉及用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术。能够在诸如虚拟现实、增强现实和混合现实系统的应用中使用的用于捕获音频的系统和方法。一些系统可以包括环境中的多个分布式监测设备，每个监测设备具有麦克风和位置跟踪单元。该系统能够捕获音频信号，同时还捕捉位置跟踪信号，该位置跟踪信号指示在捕获音频信号期间监测设备随时间的位置。该系统能够基于音频信号和位置跟踪信号生成环境中的声波场的至少一部分的表示。该系统还可以基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性。技术研发人员：G·A·桑格,B·L·施密特,A·A·塔吉克,T·M·奥加拉,D·M·沙姆韦,A·豪沃思受保护的技术使用者：奇跃公司技术研发日：技术公布日：2024/7/29