方向性编解码的制作方法

本发明公开了用于对具有方向性的音频信号进行编码和解码的装置和方法。

背景技术：

1、方向性是声源的重要声学特性，例如在沉浸式再现环境中。方向性与频率有关，并且可以在八度或第三八度频率网格上的离散频率上测量。对于给定频率，方向性是在单位球体上定义的标量值。估计可以使用均匀分布在球体上的多个麦克风来完成。然后对测量结果进行后处理，然后精确地插值到精细或非常精细的球形网格上。这些值被保存到一种可用的互操作性文件格式中，诸如sofa文件[1]。这些文件可能相当大，可达几兆字节。

2、然而，为了包括到比特流中进行传输，需要更紧凑的表示，其中大小从几百字节减少到最多几千字节的维度，这取决于频带的数量和重建所需的精度(例如，移动设备上降低的精度)。

3、有几种文件格式支持方向性数据，如sofa[1]和opendaff[2]，但是它们的主要目标是非常灵活的交换格式，同时保留大量的额外元数据，如数据是如何生成的，以及测量使用了什么设备。此额外的元数据使得在研究应用中更容易自动解释和加载数据，因为一些文件格式允许大量异构数据类型。此外，通常定义的球面网格是精细或非常精细的，因此可以使用使用最近邻搜索的更简单方法来代替二维插值。

4、寻求一种用于获得更紧凑表示的方法。

5、参考文献

6、[1]piotr majdak et al.,"spatially oriented format for acoustics:adata exchange format representing head-related transfer functions",134thconvention of the audio engineering society,convention paper 8880,may 2013.

7、[2]frank wefers,"opendaff:a free,open-source software package fordirectional audio data",daga 2010,march 2010.

技术实现思路

1、提出了用于解码比特流中编码的音频信号的装置，音频信号具有根据不同方向的不同音频值，方向与单位球体中的离散位置相关联，单位球体中的离散位置根据平行线从赤道线向第一极、从赤道线向第二极移位，装置包括：

2、比特流读取器，被配置为从比特流读取编码音频信号的预测残差值；

3、预测部分，被配置为通过预测和从编码音频信号的预测残差值获得音频信号，预测部分使用多个预测序列，多个预测序列包括：

4、至少一个初始预测序列，沿着相邻离散位置的线，基于相同初始预测序列中的紧接在前面的音频值的音频值预测音频值；以及

5、至少一个后续预测序列，分为多个子序列，每个子序列沿着平行线移动并与先前预测的平行线相邻，并且使得沿着正在被处理的平行线的音频值至少基于以下被预测：

6、同一子序列中相邻离散位置的音频值；以及

7、先前预测的相邻平行线的音频值的插值版本，相邻先前预测的平行线的每个插值版本具有与正在处理的平行线相同数量的离散位置。

8、还提出了用于编码音频信号的装置，音频信号根据不同的方向具有不同的音频值，方向与单位球体中的离散位置相关联，单位球体中的离散位置根据从赤道线向两极的平行线位移，装置包括：

9、预测块，被配置为执行多个预测序列，多个预测序列包括：

10、至少一个初始预测序列，沿着相邻离散位置(10)的线，通过基于同一初始预测序列中的紧接在前面的音频值的音频值来预测音频值；以及

11、至少一个后续预测序列，分为多个子序列，每个子序列沿着平行线移动并与先前预测的平行线相邻，并且使得音频值至少基于以下被预测：

12、同一子序列中相邻离散位置的音频值；以及

13、先前预测的相邻平行线的音频值的插值版本，每个插值版本具有与平行线的相同数量的离散位置，

14、预测残差生成器(120)，被配置为将音频信号(102)的预测值与实际值进行比较以产生预测残差值(122)；

15、比特流写入器(130)，被配置为在比特流(104)中写入预测残差值(122)或其处理版本。

技术特征：

1.一种用于解码比特流(104)中编码的音频信号的装置(200，200a)，音频信号具有根据不同方向的不同音频值，方向与单位球体(1)中的离散位置相关联，单位球体(1)中的离散位置根据平行线从赤道线向第一极(2)、从赤道线向第二极(4)移位，所述装置包括：

2.如权利要求1所述的装置，其中至少一个初始预测序列包括沿单位球体(1)的子午线的子午线初始预测序列(10)，

3.如权利要求2所述的装置，其中至少一个初始预测序列包括沿单位球体(1)的赤道线的在子午线初始预测序列(10)之后执行的赤道初始预测序列(20)，赤道初始预测序列(20)从已经预测的至少一个子午线初始预测序列(10)的离散位置(20a)开始。

4.如权利要求3所述的装置，其中多个子序列中的第一子序列(31)沿着与赤道线相邻的平行线执行，并且多个子序列中的另外子序列(32，33)朝向极(4)依次执行。

5.如上述权利要求中任何一个所述的装置，其中预测部分(220')被配置为，在至少一个初始预测序列(10，20)中，通过线性预测从相邻离散位置(602，702)中的一个已经预测的单个音频值来预测至少一个音频值(601，701)。

6.如权利要求5所述的装置，其中线性预测在至少一个预测序列中或在至少一个子序列中是同一预测，使得预测音频值与相邻离散位置中的单个音频值相同。

7.如上述权利要求中任何一个所述的装置，其中预测部分(120)被配置为，在至少一个初始预测序列(10、20)中，通过仅从第一相邻离散位置(602、702)中的一个已经预测的音频值和与第一相邻离散位置相邻的第二离散位置(605、705)中的一个已经预测的音频值进行预测，来预测至少一个音频值(601、701)。

8.如权利要求7所述的装置，其中所述预测是线性的。

9.如权利要求7或8所述的装置，其中预测使得第一相邻离散位置(601、701)中的已经预测的音频值的权重为与第一相邻离散位置(601、701)相邻的第二离散位置(605、705)中的已经预测的音频值的权重的至少两倍。

10.如上述权利要求中任何一个所述的装置，其中预测部分(210’)被配置为，在至少一个子序列(31、32、33)中，基于以下来预测至少一个音频值(501)：

11.如权利要求10所述的装置，其中预测部分(210’)被配置为，在至少一个子序列(31、32、33)中，还基于以下来预测至少一个音频值：

12.如权利要求11所述的装置，其中，在插值中，相同的权重被给予：

13.如上述权利要求中任何一个所述的装置，其中预测部分(210')被配置为，在至少一个子序列(31-33)中，通过线性预测来预测至少一个音频值。

14.如上述权利要求中任何一个所述的装置，其中通过减少先前预测的平行线(31)的离散位置的数量以匹配待预测的平行线(32)中的离散位置的数量的处理来检索紧接在前预测的平行线(31)的插值版本(31')。

15.如上述权利要求中任何一个所述的装置，其中通过圆形插值检索紧接在前预测的平行线的插值版本(31')。

16.如上述权利要求中任何一个所述的装置，被配置为基于比特流(104)中的信令，选择通过沿着平行线移动并与先前预测的平行线相邻来执行至少一个后续预测序列(30，40)，使得仅基于相同子序列(31，32，33)中的相邻离散位置的音频值来预测沿着正在被处理的平行线的音频值。

17.如上述权利要求中任何一个所述的装置，其中预测部分包括用于将预测值(212)和预测残差值(222)相加的加法器(220)。

18.如上述权利要求中任何一个所述的装置，被配置为根据不同的频带分离音频信号的频率，并对每个频带执行预测。

19.如权利要求18所述的装置，其中单位球体(1)的空间分辨率对于高频带和低频带是相同的。

20.如上述权利要求中任何一个所述的装置，被配置为基于比特流中所选择的空间分辨率的信令，在多个预定义空间分辨率中选择单位球体的空间分辨率。

21.如上述权利要求中任何一个所述的装置，被配置为在对数域中转换预测的音频值(202)。

22.如上述权利要求中任何一个所述的装置，其中预测的音频值为分贝值。

23.如上述权利要求中任何一个所述的装置，包括后处理器(205)，后处理器(205)被配置为通过将每个差分音频信号递归地添加到相邻的非差分音频信号，将音频信号从差分音频信号重新定义为非差分音频信号。

24.如权利要求23所述的装置，其中通过根据预定义阶数从相邻离散位置的音频值减去特定离散位置处的音频值而获得特定离散位置处的非差分音频值(201)。

25.如权利要求23或24所述的装置，

26.如上述权利要求中任何一个所述的装置，其中比特流读取器(230)被配置为使用单阶段解码读取比特流(104)，根据单阶段解码：

27.一种用于对音频信号(102)进行编码的装置(100)，音频信号具有根据不同方向的不同音频值，方向与单位球体(1)中的离散位置相关联，单位球体中的离散位置根据平行线从赤道线到两极(2，4)移位，所述装置包括：

28.如权利要求27所述的装置，其中至少一个初始预测序列包括沿单位球体(1)的子午线的子午线初始预测序列(10)，

29.如权利要求28所述的装置，其中至少一个初始预测序列包括沿单位球体(1)的赤道线的在子午线初始预测序列(10)之后执行的赤道初始预测序列(20)，赤道初始预测序列(20)从已经预测的至少一个子午线初始预测序列(10)的离散位置(20a)开始。

30.如权利要求29所述的装置，其中多个子序列的第一子序列(31)沿着与赤道线相邻的平行线执行，并且多个子序列的另外子序列(32，33)朝着极(4)依次执行。

31.如权利要求27-30所述的装置，其中预测块(120)被配置为，在至少一个初始预测序列(10、20)中，通过线性预测从前面相邻离散位置的一个单个音频值来预测至少一个音频值。

32.如权利要求31所述的装置，其中线性预测在至少一个预测序列中或在至少一个子序列中是同一预测，使得预测的音频值与相邻离散位置中的单个音频值相同。

33.如权利要求27-32中任何一个所述的装置，其中预测块(120)被配置为，在至少一个初始预测序列(10、20)中，通过仅从第一相邻离散位置中的一个音频值和与第一相邻离散位置相邻的第二离散位置中的第二音频值进行预测，来预测至少一个音频值。

34.如权利要求33所述的装置，其中预测是线性的。

35.如权利要求33或34所示的装置，其中预测使得第一相邻离散位置中的音频值的权重为与第一相邻离散位置相邻的第二离散位置中的第二音频值的权重的至少两倍。

36.如权利要求27-35中任何一个所述的装置，其中预测块(120)被配置为，在至少一个子序列(31、32、33)中，基于以下预测至少一个音频值(501)：

37.如权利要求36所述的装置，其中预测块(120)被配置为，在至少一个子序列(31、32、33)中，还基于以下预测至少一个音频值(501)：

38.如权利要求37所述的装置，其中，在插值中，相同的权重被给予：

39.如权利要求27-38中任何一个所述的装置，其中预测块(120)被配置为在至少一个子序列(31-33)中通过线性预测来预测至少一个音频值。

40.如权利要求27-39中任何一个所述的装置，其中通过减少先前预测的平行线的离散位置的数量以匹配待预测的平行线中的离散位置的数量的处理来检索紧接在前预测的平行线的插值版本。

41.如权利要求27-40中任何一个所述的装置，其中通过圆形插值来检索紧接在前预测的平行线的插值版本。

42.如上述权利要求中任何一个所述的装置，被配置为基于模拟，选择通过沿着平行线移动并与先前预测的平行线相邻来执行至少一个后续预测序列(30，40)，使得仅基于相同子序列(31，32，33)中相邻离散位置的音频值预测沿着正在被处理的平行线的音频值。

43.如权利要求27-42中任何一个所述的装置，被配置为根据不同的频带分离音频信号的频率，并对每个频带执行预测。

44.如权利要求43中任何一个所述的装置，其中单位球体(1)的空间分辨率对于高频带和低频带是相同的。

45.如权利要求43或44所述的装置，其中。

46.如权利要求27-45中任何一个所述的装置，被配置为在多个预定义的空间分辨率中选择单位球体的空间分辨率，并在比特流中发信号通知所选择的空间分辨率。

47.如权利要求27-46中任何一个所述的装置，被配置为在预测的上游在对数域中转换音频值。

48.如权利要求27-47中任何一个所述的装置，其中音频值为分贝值。

49.如权利要求27-48中任何一个所述的装置，被配置为在预测的上游对音频值进行量化。

50.如权利要求27-49中任何一个所述的装置，被配置为将音频信号(102)重新定义为差分音频信号，使得音频值为差分音频值。

51.如权利要求50所述的装置，其中通过从相邻离散位置的音频值减去特定离散位置处的音频值来获得特定离散位置处的差分音频值。

52.如权利要求书50或51所述的装置，

53.如权利要求27-52中任何一个所述的装置，其中比特流写入器(130)被配置为使用单阶段编码对比特流进行编码，根据单阶段编码：

54.如权利要求53所述的装置，被配置为将更频繁的预测的音频值或其处理版本分组在一起，并将较不频繁的预测的音频值或其处理版本分组在一起。

55.如权利要求54所述的装置，当引用权利要求1026时，被配置为在使用两阶段编码和单阶段编码之间执行选择，并在比特流中发信号通知选择。

56.如权利要求55所述的装置，被配置为基于单位球体的分辨率与阈值的比较来执行选择，使得：

57.一种用于解码比特流(104)中编码的音频信号的方法，音频信号具有根据不同方向的不同音频值，方向与单位球体(1)中的离散位置相关联，单位球体(1)中的离散位置根据平行线从赤道线向第一极(2)、从赤道线向第二极(4)移位，所述方法包括：

58.一种非暂时性存储单元，存储指令，当由处理器执行时，使处理器执行如权利要求57所述的方法。

59.一种表示音频信号的压缩描述的比特流(104)，在比特流中编码有：

技术总结本申请公开了用于对表示方向性图案的音频信号进行压缩编码和解码的技术，音频值根据在单位球体上定义的不同离散位置而具有不同的值。音频信号值作为预测残差值编码在比特流中。通过在平行于球体的赤道的平行线上定义的位置上移动，在序列中使用预测残差值来获得预测音频信号值，平行线从球体的第一极朝向第二极定义。预测值是基于初始预测序列、给定位置之前的相邻离散位置或先前预测的相邻平行线的音频值的插值版本来获得的。技术研发人员：于尔根·赫勒,弗洛林·基多受保护的技术使用者：弗劳恩霍夫应用研究促进协会技术研发日：技术公布日：2024/3/17