用于音频数据的基于元数据的动态处理的方法和装置与流程

本公开总体上涉及用于回放的音频数据的基于元数据的动态处理方法，并且特别地，涉及确定一个或多个处理参数并将其应用于音频数据以进行动态响度调整和/或动态范围压缩。本公开还涉及一种将用于动态响度调整和/或动态范围压缩的元数据和音频数据编码到比特流中的方法。本公开还涉及相应的解码器和编码器以及相应的系统和计算机程序产品。虽然文中将特别参考公开内容来描述一些实施例，但是应当理解的是，本公开不限于这样的使用领域，并且可应用于更广泛的情境中。

背景技术：

1、在整个公开中对背景技术的任何讨论都不应被认为是承认这些技术是公知的或构成本领域公知常识的一部分。

2、在播放音频内容时，响度是声压的个体体验。在电影或电视内容中，已经发现节目中对话的响度是决定收听者对节目响度的感知的最关键参数。

3、为了确定节目(无论是完整节目还是仅对话)的平均响度，都必须对整个节目进行分析。平均响度通常是响度合规(例如，美国的calm法案)所必需的，也用于校准动态范围控制(drc)参数。一个节目的动态范围是它最安静的声音和最响亮的声音之间的差异。节目的动态范围取决于其内容，例如，动作电影的动态范围可能与纪录片不同且更宽，并且反映了创作者的意图。然而，设备在原始动态范围内回放音频内容的能力差异很大。因此，除了响度管理之外，动态范围控制也是提供最佳收听体验的另一个关键因素。

4、为了执行响度管理和动态范围控制，必须分析整个音频节目或音频节目片段，并且可以将所得的响度和drc参数与音频数据或编码音频数据一起传送，以应用于解码器或回放设备。

5、当在编码之前对整个音频节目或音频节目片段的分析不可用时，例如在实时(动态)编码中，响度处理或调平被用于确保响度合规，以及(如果适用的话)取决于回放要求的潜在动态范围约束。这种方法提供了针对单个回放环境被“优化”的经处理的音频。

6、因此，存在对基于元数据的处理的需求，该处理传递带有伴随元数据的“原始”未处理音频，允许播放设备使用元数据根据设备约束或用户要求来动态修改音频。

技术实现思路

1、根据本公开的第一方面，提供了一种用于回放的音频数据的基于元数据的动态处理方法。该方法可包括通过解码器接收包括音频数据和用于动态响度的元数据的比特流。该方法还可包括通过解码器解码音频数据和元数据以获得解码的音频数据和元数据。该方法还可包括通过解码器基于回放条件从元数据确定用于动态响度调整的一个或多个处理参数。该方法还可包括将所确定的一个或多个处理参数应用于解码的音频数据以获得经处理的音频数据。并且该方法还可包括输出经处理的音频数据以供回放。

2、用于动态响度调整的元数据可以包括多组元数据，每组对应于相应的(例如不同的)回放条件。然后，基于(特定的)回放条件从元数据确定用于动态响度调整的一个或多个处理参数可以包括响应于提供给解码器的回放条件信息，选择与该(特定的)回放条件相对应的元数据组，并且从所选择的该元数据组中提取用于动态响度调整的一个或多个处理参数。其中，回放条件信息可以指示该(特定的)回放条件或由其得出的信息。

3、在一些实施例中，元数据可以指示针对多个回放条件的用于动态响度调整的处理参数。

4、在一些实施例中，所述确定一个或多个处理参数可以进一步包括基于回放条件确定用于动态范围压缩drc的一个或多个处理参数。

5、在一些实施例中，回放条件信息可以指示特定的扬声器设置。通常，回放条件可以包括解码器的设备类型、回放设备的特性、扬声器的特性、扬声器设置、背景噪声的特性、环境噪声的特性和声学环境的特性中的一者或多者。

6、在一些实施例中，所选择的元数据组可以包括drc序列组drcset。此外，每个元数据组可以包括相应的drc序列组drcset。一般而言，所述确定一个或多个处理参数可以说进一步包括通过解码器选择对应于回放条件的drc序列组drcset、均衡器参数集eqset和下混中的至少一者。

7、在一些实施例中，所述确定一个或多个处理参数可以进一步包括识别指示所选的drcset、eqset和下混中的至少一者的元数据标识符，以从元数据确定一个或多个处理参数。具体而言，选择该元数据组可以包括识别对应于特定下混的一组元数据。该特定下混可以基于扬声器设置被确定。

8、在一些实施例中，元数据可以包括与平均响度值相关的一个或多个处理参数，并且可选地包括与动态范围压缩特性相关的一个或多个处理参数。具体而言，每组元数据可以包括这样的与平均响度值相关的一个或多个处理参数，并且可选的与动态范围压缩特性相关的一个或多个处理参数。

9、在一些实施例中，比特流还可以包括用于将被应用于解码的音频数据的静态响度调整的附加元数据。

10、在一些实施例中，比特流可以是mpeg-d drc比特流，并且可以基于mpeg-d drc比特流语法用信号通知元数据的存在。

11、在一些实施例中，loudnessinfosetextension()元素可用于携带元数据作为有效载荷。

12、在一些实施例中，元数据可以包括一个或多个元数据有效载荷，其中每个元数据有效载荷可以包括多组参数和标识符，每组包括drcset标识符drcsetid、eqset标识符eqsetid和下混标识符downmixid中的至少一者，并结合与该组中的标识符相关的一个或多个处理参数。

13、在一些实施例中，所述确定一个或多个处理参数可以包括基于由解码器选择的drcset、eqset和下混中的至少一者在有效载荷中的多个组中选择一个组，其中由解码器确定的一个或多个处理参数可以是与所选组中的标识符相关的一个或多个处理参数。

14、根据本公开的第二方面，提供了一种用于回放的音频数据的基于元数据的动态处理的解码器。该解码器可包括一个或多个处理器和非暂态存储器，所述非暂态存储器被配置为执行一种方法，所述方法包括通过解码器接收包括音频数据和用于动态响度的元数据的比特流；通过解码器解码音频数据和元数据以获得解码的音频数据和元数据；通过解码器基于回放条件从元数据确定用于动态响度调整的一个或多个处理参数；将所确定的一个或多个处理参数应用于解码的音频数据以获得经处理的音频数据；并且输出经处理的音频数据以供回放。

15、用于动态响度调整的元数据可以包括多组元数据，每组对应于相应的(例如不同的)回放条件。然后，基于(特定的)回放条件从元数据确定用于动态响度调整的一个或多个处理参数可以包括响应于提供给解码器的回放条件信息，选择与该(特定的)回放条件相对应的元数据组，并且从所选择的该元数据组中提取用于动态响度调整的一个或多个处理参数。其中，回放条件信息可以指示该(特定的)回放条件或由其得出的信息。

16、根据本公开的第三方面，提供了一种将音频数据和用于动态响度调整的元数据编码到比特流中的方法。该方法可包括将原始音频数据输入响度调平器进行响度处理，以获得经响度处理的音频数据作为响度调平器的输出。该方法还可包括基于经响度处理的音频数据和原始音频数据生成用于动态响度调整的元数据。并且该方法可包括将原始音频数据和元数据编码到比特流中。

17、在一些实施例中，元数据可以包括多组元数据。每组元数据可对应于相应的(例如不同的)回放条件。

18、在一些实施例中，该方法还可以包括生成将由解码器使用的用于静态响度调整的附加元数据。

19、在一些实施例中，所述生成元数据可以包括将经响度处理的音频数据与原始音频数据进行比较，其中可以基于所述比较的结果生成元数据。

20、在一些实施例中，所述生成元数据可以进一步包括在一个或多个预定义的时间段内测量响度，其中元数据可以进一步基于所测量的响度来生成。

21、在一些实施例中，测量可以包括测量音频数据的整体响度。

22、在一些实施例中，测量可以包括测量音频数据中对话的响度。

23、在一些实施例中，比特流可以是mpeg-d drc比特流，并且可以基于mpeg-d drc比特流语法用信号通知元数据的存在。

24、在一些实施例中，loudnessinfosetextension()元素可用于携带元数据作为有效载荷。

25、在一些实施例中，元数据可以包括一个或多个元数据有效载荷，其中每个元数据有效载荷可以包括多组参数和标识符，每组包括drcset标识符drcsetid、eqset标识符eqsetid和下混标识符downmixid中的至少一者，并结合与该组中的标识符相关的一个或多个处理参数，并且其中该一个或多个处理参数可以是用于解码器进行动态响度调整的参数。

26、在一些实施例中，drcsetid、eqsetid和downmixid中的至少一者可能与要由解码器选择的一组drc序列drcset、一组量化器参数eqsset和下混中的至少一者有关。

27、根据本公开的第四方面，提供了一种编码器，用于将原始音频数据和用于动态响度调整的元数据编码到比特流中。编码器可以包括一个或多个处理器和非暂态存储器，其被配置为执行一种方法，该方法包括:将原始音频数据输入到响度调平器中进行响度处理，以获得经响度处理的音频数据作为响度调平器的输出；基于经响度处理的音频数据和原始音频数据生成用于动态响度调整的元数据；并将原始音频数据和元数据编码到比特流中。

28、根据本公开的第五方面，提供了一种系统，该系统包括编码器和解码器，编码器将原始音频数据和用于动态响度调整的元数据编码到比特流中，解码器用于对音频数据进行基于元数据的动态处理以供回放。

29、根据本公开的第六方面，提供了一种计算机程序产品，包括具有指令的计算机可读存储介质，当由具有处理能力的设备执行时，所述指令适于使设备执行用于回放的音频数据的基于元数据的动态处理的方法或者将音频数据和用于动态响度调整的元数据编码到比特流中的方法。

30、根据本公开的第七方面，提供了一种存储这里描述的计算机程序产品的计算机可读存储介质。