用于回放沉浸式音频的音频处理方法与流程

本公开涉及音频处理领域。特别地，本公开涉及一种从沉浸式音频格式的音频生成至少两个音频声道，用于利用沉浸式扩音器系统回放所述多个音频声道的方法，所述音频包括多个前高度音频声道和后高度音频声道以及多个前非高度音频声道和后非高度音频声道。本公开还涉及一种包括被配置为执行所述方法的处理器的装置、一种包括所述装置的车辆、一种程序以及一种计算机可读存储介质。

背景技术：

1、车辆通常包含用于音频回放的扩音器系统。车辆中的扩音器系统可以用于从例如磁带、cd、在车辆的汽车娱乐系统中或者经由连接到车辆的设备来远程执行的音频流式传输服务或应用程序来回放音频。所述设备可以是例如无线地或通过电缆连接到车辆的便携式设备。例如，最近，诸如spotify和tidal等流式传输服务已被集成到汽车娱乐系统中，要么直接集成到车辆的硬件(通常称为“车机”)中，要么经由使用蓝牙或apple carplay或android auto的智能手机来集成。车辆中的扩音器系统也可以用于播放地面和/或卫星广播。用于车辆的传统扩音器系统是立体声扩音器系统。立体声扩音器系统可以包括总共四个扩音器：一对前扩音器和一对后扩音器，分别用于前部乘客和后部乘客。然而，近年来，随着dvd播放器在车辆中的引入，环绕声扩音器系统已在车辆中引入，以支持dvd音频格式的回放。

2、沉浸式音频正在成为电影院和家庭聆听环境的主流。随着沉浸式音频成为电影院和家庭中的主流，很自然地认为沉浸式音频也将在车辆内被回放。杜比全景声(dolbyatmos)音乐已经可以通过各种流式传输服务获得。沉浸式音频与环绕声音频格式的区别通常在于包含一个或多个头顶或高度音频声道。因此，为了回放沉浸式音频，使用了头顶或高度扩音器。

3、图1示出了车辆100的内部视图。车辆100包括扩音器系统，该扩音器系统包括扩音器10、11、30、31、41、42、43和44。仅示出了车辆100左侧的扩音器。除了扩音器10和11之外，对应的扩音器可以对称地布置在车辆100的右侧。特别地，图1的扩音器系统包括：高音扩音器41、42和43、全频前扩音器30和后扩音器31、中央扩音器10、低频效果扩音器或低音炮11、以及高度扩音器44。高音扩音器41被放置在靠近车辆仪表板处。高音扩音器42被放置在车辆100的前侧柱的低处。然而，高音扩音器41、42、43以及全频前扩音器30和后扩音器31可以被放置在适合于特定实施方式的任何位置。高度扩音器44被放置在车辆的顶部上，在该示例中，在驾驶员座椅的上方。

4、虽然高端车辆可能包含多个头顶或高度扩音器，但仍有一些车辆使用有限数量的高度立体声扩音器。事实上，高度扩音器大大增大了车辆中扩音器系统的复杂性。高度扩音器需要放置在车辆的顶部中，而顶部通常不适用于此目的。例如，车辆通常具有低顶部，这限制了放置高度扩音器的可用高度。此外，车辆在销售时通常有安装天窗的选项，以打开车辆顶部的窗户，这使得在顶部集成或放置许多高度扩音器成为一个困难的工业设计挑战。这种高度扩音器可能还需要额外的音频电缆。当考虑车辆的安全性以及将例如安全气囊放置在头顶或高度扩音器的相同或接近位置时，多个头顶或高度扩音器的放置也是一个值得关注的问题。由于所有这些原因，由于空间和工业设计的限制，在车辆中集成多个高度扩音器可能是昂贵的。另一方面，仅使用有限数量的高度扩音器极大地限制了车辆高度平面中声音的空间分辨率。

技术实现思路

1、在具有至少一个高度扩音器的沉浸式扩音器系统中回放沉浸式音频内容将是有利的。在本公开的上下文中，“沉浸式扩音器系统”是包括至少一个高度扩音器(例如，位于聆听者头部上方，即，位于所谓的高度平面中)以及多个前非高度扩音器和后非高度扩音器(例如，位于聆听者头部下方，即，位于所谓的基平面中)的扩音器/扬声器系统。

2、通过将沉浸式音频内容回放到包括至少一个高度扩音器的沉浸式扩音器系统中来创建具有令人满意的空间分辨率的声音高度感知将是有利的，使得即使不使用两个以上的头顶扩音器也能增强用户的音频体验。

3、本公开的一方面提供了一种从沉浸式格式的音频生成多个音频声道，用于利用沉浸式扩音器系统回放所述多个音频声道的方法，所述音频包括多个前高度音频声道和后高度音频声道以及多个前非高度音频声道和后非高度音频声道，所述沉浸式扩音器系统包括至少一个高度扩音器以及多个前非高度扩音器和后非高度扩音器。所述方法包括将虚拟高度滤波器应用于所述多个前高度声道和后高度声道中的每个前高度音频声道和后高度音频声道的一部分。所述虚拟高度滤波器被配置用于：当由所述前非高度扩音器和后非高度扩音器中的对应扩音器回放所述前高度音频声道和后高度音频声道中的至少一个音频声道时，至少部分地衰减所述至少一个高度声道的直接从回放所述高度声道的扩音器发出的频谱分量。所述虚拟高度滤波器还被配置用于至少部分地放大高度声道的从聆听环境内部的顶部或靠近所述顶部的区域反射的频谱分量，以生成多个前经虚拟高度滤波的音频信号和后经虚拟高度滤波的音频信号。所述方法还包括：将所述多个前经虚拟高度滤波的音频信号和后经虚拟高度滤波的音频信号中的每个前经虚拟高度滤波的音频信号和后经虚拟高度滤波的音频信号添加到所述多个前非高度音频声道和后非高度音频声道中的对应的前非高度音频声道和后非高度音频声道中，以生成相加音频信号以供所述对应的前非高度扩音器或后非高度扩音器回放。所述方法还包括：利用所述至少一个高度扩音器回放所述多个前高度声道和后高度声道中的每个前高度音频声道和后高度音频声道的其余部分。

4、在本公开的上下文中，术语“声道”意指音频信号加可选的元数据，其中，位置被编码为声道标识符，例如，左前或右上环绕；“基于声道的音频”是被格式化以便通过具有相关联的标称位置的预定义扩音器区域组(例如，5.1、7.1等)来回放的音频；术语“对象”或“基于对象的音频”意指具有诸如视在源位置(例如，3d坐标)、视在源宽度等参数化源描述的一个或多个音频声道。

5、当高度声道的所述部分在不进行滤波的情况下从非高度扩音器之一回放时，声音可以沿着不同的路径辐射。一些声音可以沿着从非高度扩音器到聆听位置(例如，到乘客耳朵或驾驶员耳朵)的直接路径辐射。一些其他声音可以沿着从非高度扩音器到聆听位置的反射路径辐射。例如，一些声音可以从聆听内的顶部或靠近顶部的区域反射，并且因此从顶部或靠近顶部的区域辐射到聆听位置。当由非高度扩音器回放高度声道时，沿直接路径辐射的声音是不期望的。通过将虚拟高度滤波器应用于高度声道的多个部分，高度声道部分的从顶部或靠近顶部反射的频谱分量被放大，而高度声道部分的直接发散到扩音器的频谱分量被衰减。如上进行配置，所述方法补偿不期望的直接声音，并且将感知高度提示引入被馈送到非高度扩音器的音频信号中，从而改善虚拟高度信号的定位和感知质量。例如，已经开发了定向听力模型以创建虚拟高度滤波器，所述虚拟高度滤波器当用于处理由非高度扩音器再现的音频时改善了再现的感知质量。另外，通过利用至少一个高度扩音器直接回放高度音频声道的其余部分，可以实现前高度音频声道和后高度音频声道在非高度扩音器和至少一个高度扩音器之间的期望平衡，以改善高度平面中的空间分辨率，从而提供改善的沉浸式聆听体验。通过仅使用单个高度扩音器或仅使用两个高度扩音器来改善高度平面中的空间分辨率。

6、在实施例中，所述多个前高度声道和后高度声道中的每个高度声道的所述部分可以是以下各项中的一项或多项的函数：所述至少一个高度扩音器沿着所述聆听环境的长度的位置，或所述多个音频声道在所述沉浸式扩音器系统的扩音器之间的期望平衡分布。

7、在实施例中，将所述虚拟高度滤波器应用于所述多个前高度音频声道和后高度音频声道中的每个音频声道的一部分可以包括将所述虚拟高度滤波器应用于所述前高度音频声道的与所述至少一个高度扩音器远离所述聆听环境的前部移动并接近所述聆听环境的后部的位置成比例的部分。

8、在实施例中，将所述虚拟高度滤波器应用于所述多个前高度音频声道和后高度音频声道中的每个音频声道的一部分可以包括将所述虚拟高度滤波器应用于所述后高度音频声道的与所述至少一个高度扩音器远离所述聆听环境的后部移动并接近所述聆听环境的前部的位置成比例的部分。

9、在实施例中，利用所述至少一个高度扩音器回放所述多个前高度音频声道和后高度音频声道中的每个音频声道的其余部分可以包括回放所述多个前高度音频声道中的每个音频声道的与所述至少一个高度扩音器远离所述聆听环境的后部移动并接近所述聆听环境的前部的位置成比例的其余部分。

10、在实施例中，利用所述至少一个高度扩音器回放所述多个前高度声道和后高度声道中的每个声道的其余部分可以包括回放所述多个后声道中的每个音频声道的与所述至少一个高度扩音器远离所述聆听环境的前部移动并接近所述聆听环境的后部的位置成比例的其余部分。

11、在实施例中，所述沉浸式音频格式的音频可以还包括右前非高度音频声道和左前非高度音频声道、右后非高度音频声道和左后非高度音频声道、右上前高度音频声道和左上前高度音频声道以及右上后高度音频声道和左上后高度音频声道。可以将前经虚拟高度滤波的音频信号添加到对应的右前非高度音频声道和左前非高度音频声道。可以将后经虚拟高度滤波的音频信号添加到对应的右后非高度音频声道和左后非高度音频声道。这些相加生成四个相加音频信号，以供对应的右前非高度扩音器和左前非高度扩音器、右后非高度扩音器和左后非高度扩音器回放。

12、在实施例中，所述沉浸式扩音器系统可以包括单个顶部(头顶)扩音器。

13、在实施例中，可以将所述右上前高度音频声道、右上后高度音频声道、左上前高度音频声道和左上后高度音频声道的其余部分相加在一起并由所述顶部(头顶)单个顶部扩音器回放。

14、在实施例中，所述沉浸式扩音器系统可以包括两个顶部(头顶)扩音器，例如，右上(头顶)高度扩音器和左上(头顶)高度扩音器。

15、在实施例中，可以将右上前高度音频声道和右上后高度音频声道的其余部分相加在一起并由右上高度扩音器回放。类似地，可以将左上前高度音频声道和左上后高度音频声道的其余部分相加在一起并由左上高度扩音器回放。

16、在实施例中，所述虚拟高度滤波器可以具有滤波器传递函数，并且其中，所述方法还包括根据标识所述滤波器传递函数的一个或多个参数来确定所述虚拟高度滤波器的滤波器传递函数。

17、在实施例中，所述方法可以还包括将所述一个或多个参数作为查找表或分析函数存储在处理器中。

18、在实施例中，所述虚拟高度滤波器可以具有滤波器传递函数，所述滤波器传递函数在第一频率处具有峰值并且在高于所述第一频率的第二频率处具有陷波。

19、在实施例中，所述前非高度扩音器和后非高度扩音器中的至少两个扩音器可以相对于聆听位置横向间隔开。所述方法可以还包括基于所述至少两个扩音器距所述聆听位置的相对距离以及基于所述顶部或靠近所述顶部的区域相对于所述聆听位置的仰角来确定所述虚拟高度滤波器的滤波器传递函数。

20、在实施例中，所述前非高度扩音器和后非高度扩音器中的至少两个扩音器可以相对于聆听位置横向间隔开。所述方法可以还包括：基于所述两个非高度扩音器距所述聆听位置的一系列相对距离以及基于所述顶部或靠近所述顶部的区域相对于所述聆听位置的一系列仰角，获得多个虚拟高度滤波器的多个滤波器传递函数；以及从所述多个滤波器传递函数中选择一个滤波器传递函数。

21、在实施例中，所选择的滤波器传递函数可以是所述多个滤波器传递函数的平均值。

22、在实施例中，从所述多个滤波器传递函数中选择一个滤波器传递函数可以包括：基于所述至少两个扩音器距所述聆听位置的平均距离以及基于所述顶部或靠近所述顶部的区域相对于所述聆听位置的平均仰角来选择标识所选择的滤波器传递函数的一个或多个参数。

23、在实施例中，可以对每个所选择的滤波器传递函数迭代地应用上述方法的获得、选择、应用、添加和回放的步骤，直到所述滤波器传递函数以最大声音仰角感知提供对所述至少两个声道的回放。

24、在实施例中，所述方法可以还包括将增益应用于所述虚拟高度滤波器。在实施例中，所述增益可以是用户可配置的。

25、在实施例中，所述聆听环境是车辆。

26、本公开的另一方面提供了一种装置，所述装置包括处理器和耦接到所述处理器的存储器，其中，所述处理器被配置为执行本公开中描述的任何方法。

27、本公开的另一方面提供了一种包括这样的装置的车辆。

28、本公开的其他方面提供了一种包括指令的程序，所述指令当由处理器执行时使所述处理器执行处理音频的方法，并且进一步提供了一种存储这样的程序的计算机可读存储介质。