编码装置及方法、解码装置及方法、以及程序与流程

本技术涉及一种编码装置及方法、解码装置及方法、以及程序，更具体地，涉及一种能够在维持实时操作的状态下提高编码效率的编码装置及方法、解码装置及方法、以及程序。

背景技术：

1、通常，已知符合作为国际标准的运动图像专家组(mpeg)-d统一语音和音频编码(usac)标准和作为mpeg-d usac标准的核心编码器的mpeg-h 3d音频标准等的编码技术(例如，参考非专利文献1至3)。

2、现有技术文献

3、非专利文献

4、非专利文献1：iso/iec 23003-3、mpeg-d usac

5、非专利文献2：iso/iec 23008-3、mpeg-h 3d音频

6、非专利文献3：iso/iec 23008-3：2015/amendment3，mpeg-h 3d音频阶段2

技术实现思路

1、本发明要解决的问题

2、在mpeg-h 3d音频标准等中处理的3d音频中，保持每个对象的元数据，例如，表示声音材料(对象)的位置、距离或对象的增益的水平角和垂直角，并且可再现三维声音方向、距离、传播等。因此，利用3d音频，与典型的立体再现相比，能够以更真实的感觉执行音频再现。

3、然而，为了传输由3d音频实现的大量对象的数据，需要一种能够以高压缩效率和高速解码更多音频声道的编码技术。即，期望提高编码效率。

4、此外，为了执行与3d音频的现场或音乐会的现场流，必须实现编码效率和实时性能的提高。

5、本技术是考虑到这种情况而做出的，并且旨在在维持实时操作的状态下提高编码效率。

6、问题的解决方案

7、根据本技术的第一方面的编码装置包括：优先级信息生成单元，基于音频信号或音频信号的元数据中的至少来生成指示音频信号的优先级的优先级信息；时间频率变换单元，其对音频信号执行时间频率变换并且生成mdct系数；以及比特分配单元，其对于多个音频信号，以由优先级信息指示的音频信号的优先级的降序量化音频信号的mdct系数。

8、根据本技术的第一方面的编码方法或者程序包括以下步骤：基于音频信号或者音频信号的元数据中的至少生成指示音频信号的优先级的优先级信息；对音频信号执行时间频率变换并生成mdct系数；以及对于多个音频信号，按照优先级信息指示的音频信号的优先级的降序量化音频信号的mdct系数。

9、在本技术的第一方面，针对多个音频信号，基于音频信号以及音频信号的元数据中的至少一者生成指示音频信号的优先级的优先级信息，对音频信号执行时间频率变换，生成mdct系数，并且按照由优先级信息指示的音频信号的优先级的降序对音频信号的mdct系数进行量化。

10、根据本技术的第二方面的解码装置包括：解码单元，获取编码的音频信号，并且对编码的音频信号进行解码，所述编码的音频信号是通过针对多个音频信号获取按照基于音频信号以及音频信号的元数据中的至少一者而生成的优先级信息指示的音频信号的优先级的降序对音频信号的mdct系数进行量化而获得的。

11、根据本技术的第二方面的解码方法或程序包括以下步骤：获取编码的音频信号，并对编码的音频信号进行解码，所述编码的音频信号是通过针对多个音频信号按照基于音频信号或音频信号的元数据中的至少生成的优先级信息指示的音频信号的优先级的降序对音频信号的mdct系数进行量化而获得的。

12、在本技术的第二方面，获取编码的音频信号，并对编码的音频信号进行解码，所述编码的音频信号是通过针对多个音频信号按照基于音频信号以及音频信号的元数据中的至少一者生成的优先级信息指示的音频信号的优先级的降序对音频信号的mdct系数进行量化而获得的。

13、根据本技术的第三方面的编码装置包括：编码单元，编码音频信号并生成编码的音频信号；缓冲器，保持包括每个帧的编码的音频信号的比特流；以及插入单元，在针对待处理的帧在预定时间内未完成用于对音频信号进行编码的处理的情况下，将预先生成的编码的静默数据作为待处理的帧的编码的音频信号插入到比特流中。

14、根据本技术的第三方面的编码方法或程序包括以下步骤：编码音频信号并生成编码的音频信号；在缓冲器中保持包括用于每个帧的编码的音频信号的比特流；以及在针对待处理的帧在预定时间内未完成用于编码音频信号的处理的情况下，将预先生成的编码的静默数据作为待处理的帧的编码的音频信号插入到比特流中。

15、在本技术的第三方面，对音频信号进行编码，并且生成编码的音频信号，将包括每个帧的编码的音频信号的比特流保持在缓冲器中，并且在针对待处理的帧在预定时间内未完成用于对音频信号进行编码的处理的情况下，预先生成的编码的静默数据作为待处理的帧的编码的音频信号被插入到比特流中。

16、根据本技术的第四方面的解码装置包括解码单元，该解码单元获取比特流并且解码编码的音频信号，该比特流是通过对音频信号编码并且生成编码的音频信号，在针对待处理的帧在预定时间内没有完成用于编码音频信号的处理的情况下，将预先生成的编码的静默数据作为待处理的帧的编码音频信号插入到包括编码的音频信号的比特流中而获得的。

17、根据本技术的第四方面的解码方法或程序包括以下步骤：获取比特流，并且对编码的音频信号进行解码，该比特流是通过对音频信号进行编码并且生成编码的音频信号，在针对待处理的帧在预定时间内未完成用于对音频信号进行编码的处理的情况下将预先生成的编码的静默数据作为待处理的帧的编码的音频信号插入到包括编码的音频信号的比特流中而获得的。

18、在本技术的第四方面，获取比特流，并且对编码的音频信号进行解码，该比特流是通过对音频信号进行编码并且生成编码的音频信号，在针对待处理的帧在预定时间内未完成用于对音频信号进行编码的处理的情况下将预先生成的编码的静默数据作为待处理的帧的编码的音频信号插入到包括针对每个帧的编码的音频信号的比特流中而获得的。

19、根据本技术的第五方面的编码装置包括：时间频率变换单元，其对对象的音频信号执行时间频率变换并且生成mdct系数；听觉心理参数计算单元，其基于mdct系数和关于对象的掩蔽阈值的设置信息计算听觉心理参数；以及比特分配单元，其基于听觉心理参数和mdct系数执行比特分配处理并生成量化的mdct系数。

20、根据本技术的第五方面的编码方法或程序包括以下步骤：对对象的音频信号执行时间频率变换并且生成mdct系数；基于mdct系数计算听觉心理参数和关于对象的掩蔽阈值的设置信息；以及基于听觉心理参数和mdct系数执行比特分配处理并生成量化的mdct系数。

21、在本技术的第五方面中，对对象的音频信号执行时间频率变换并且生成mdct系数，基于mdct系数和关于对象的掩蔽阈值的设置信息计算听觉心理参数，并且基于听觉心理参数和mdct系数执行比特分配处理，并且生成量化的mdct系数。

技术特征：

1.一种编码装置，包括：

2.根据权利要求1所述的编码装置，其中，

3.根据权利要求2所述的编码装置，其中，

4.根据权利要求3所述的编码装置，其中，

5.根据权利要求4所述的编码装置，其中，

6.根据权利要求5所述的编码装置，其中，

7.根据权利要求3所述的编码装置，其中，

8.根据权利要求7所述的编码装置，其中，

9.根据权利要求2所述的编码装置，其中，

10.根据权利要求2所述的编码装置，其中，

11.根据权利要求2所述的编码装置，其中，

12.根据权利要求2所述的编码装置，其中，

13.根据权利要求2所述的编码装置，进一步包括：

14.根据权利要求2所述的编码装置，进一步包括：

15.根据权利要求13所述的编码装置，其中，

16.一种编码装置的编码方法，包括：

17.一种程序，使计算机执行处理，所述处理包括：

18.一种解码装置，包括：

19.根据权利要求18所述的解码装置，其中，

20.一种解码装置的解码方法，包括：

21.一种程序，使计算机执行处理，所述处理包括：

22.一种编码装置，包括：

23.根据权利要求22所述的编码装置，进一步包括：

24.根据权利要求23所述的编码装置，进一步包括：

25.根据权利要求24所述的编码装置，其中，

26.根据权利要求24所述的编码装置，其中，

27.根据权利要求24所述的编码装置，其中，

28.根据权利要求22所述的编码装置，其中，

29.根据权利要求28所述的编码装置，其中，

30.根据权利要求28所述的编码装置，其中，

31.根据权利要求23所述的编码装置，其中，

32.根据权利要求22所述的编码装置，其中，

33.根据权利要求32所述的编码装置，其中，

34.一种编码装置的编码方法，包括：

35.一种程序，使计算机执行处理，所述处理包括：

36.一种解码装置，包括：

37.一种解码装置的解码方法，包括：

38.一种程序，使计算机执行处理，所述处理包括：

39.一种编码装置，包括：

40.根据权利要求39所述的编码装置，其中，

41.根据权利要求39所述的编码装置，其中，

42.一种编码装置的编码方法，其中，包括：

43.一种程序，使计算机执行处理，所述处理包括：

技术总结本技术涉及编码装置及方法、解码装置及方法、以及程序，利用其可以在维持实时操作的状态下提高编码效率。编码装置设置有：优先级信息生成单元，用于基于音频信号和/或音频信号的元数据来生成指示音频信号的优先级的优先级信息；时间频率转换单元，用于对音频信号执行时间频率转换并生成MDCT系数；以及比特分配单元，用于对多个音频信号按照从具有由优先级信号指示的最高优先程度的音频信号开始的顺序执行音频信号的MDCT系数的量化。本技术适用于编码装置。技术研发人员：河野明文,知念徹,本间弘幸,畠中光行受保护的技术使用者：索尼集团公司技术研发日：技术公布日：2024/3/5