信号处理装置、方法和存储介质与流程

本技术涉及信号处理装置、方法和程序，更具体地，涉及能够提高编码效率的信号处理装置、方法和程序。

背景技术：

1、传统上，已经在电影、游戏等中使用了对象音频技术，并且已经开发了能够处理对象音频的编码方法。具体地，例如，已知作为国际标准的mpeg(运动图像专家组)-h部分3:3d音频标准等(例如，参见非专利文献1)。

2、在这种编码方法中，类似于传统方法中的双声道立体声音方法和诸如5.1声道的多声道立体声音方法，运动声音源等被视为独立的音频对象，并且对象的位置信息可以与音频对象的信号数据一起被编码为元数据。

3、利用这种布置，可以在具有不同数量扬声音器的各种观看/收听环境中执行再现。此外，可以容易地在再现期间对特定声音源的声音执行处理，诸如调整特定声音源的声音的音量以及对特定声音源的声音添加效果，这在传统编码方法中是困难的。

4、例如，在非专利文献1的标准中，将称为基于三维矢量的振幅平移(vbap)(以下简称为vbap)的方法用于渲染处理。

5、这是通常称为摇摄的再现方法之一，并且是通过将增益分配给在同样以观看/收听位置作为原点存在于球面上的扬声音器之中最接近存在于球面上的音频对象的三个扬声音器来执行再现的方法。

6、通过摇摄的音频对象的这种渲染基于这样的前提，即所有音频对象都在以观看/收听位置作为原点的球面上。因此，在音频对象接近观看/收听位置或远离观看/收听位置的情况下的距离感测仅由音频对象的增益大小控制。

7、然而，实际上，如果不考虑取决于频率分量的不同衰减率、存在音频对象的空间中的反射等，则距离感的表达远离实际体验。

8、为了在收听体验中反映这样的效果，首先可以想到物理地计算空间中的反射和衰减以获得最终的输出音频信号。然而，尽管这种方法对于能够以非常长的计算时间产生的运动图像内容(诸如电影)是有效的，但是在实时再现音频对象的情况下使用这种方法是困难的。

9、此外，在通过物理计算空间中的反射和衰减而获得的最终输出中，难以反映内容创建者的意图。特别是对于诸如音乐剪辑的音乐作品，需要容易反映内容创建者意图的格式，诸如将优选的混响处理应用于声音轨等。

10、引证列表

11、非专利文献

12、非专利文献1：国际标准iso/iec23008-3第一版2015-10-15信息技术-异构环境中的高效编码和媒体递送-第3部分：3d音频

技术实现思路

1、本发明要解决的问题

2、因此，在实时再现中，期望将考虑到每个音频对象在空间中的反射和衰减的混响处理所需的系数等的数据以及音频对象的位置信息存储在文件或发送流中，并通过使用它们获得最终的输出音频信号。

3、然而，对于每个帧，在文件或发送流中存储每个音频对象所需的混响处理数据会增加发送速率，并且需要具有高编码效率的数据发送。

4、鉴于这种情况而做出本技术，并且本技术旨在提高编码效率。

5、解决问题的方法

6、根据本技术的一个方面的信号处理装置包括：获取单元，该获取单元获取混响信息和音频对象的音频对象信号，该混响信息包括特定于音频对象周围的空间的空间混响信息或特定于音频对象的对象混响信息中的至少一个；以及混响处理单元，基于混响信息和音频对象信号生成音频对象的混响分量的信号。

7、根据本技术的一个方面的信号处理装置包括：获取单元，该获取单元获取混响信息和音频对象的音频对象信号，该混响信息包括特定于音频对象周围的空间的空间混响信息或特定于音频对象的对象混响信息中的至少一个；混响处理单元，基于混响信息和音频对象信号生成音频对象的混响分量的信号；以及混响单元，所述混响单元执行所述音频对象的混响分量和所述音频对象信号的混响处理，以生成输出音频信号。

8、根据本技术的一个方面的信号处理方法或程序包括以下步骤：获取混响信息，该混响信息包括特定于音频对象周围的空间的空间混响信息或特定于音频对象的对象混响信息以及音频对象的音频对象信号中的至少一个；以及基于混响信息和音频对象信号生成音频对象的混响分量的信号。

9、根据本技术的一个方面的信号处理方法包括以下步骤：由信号处理装置获取混响信息和音频对象的音频对象信号，混响信息包括以下中的至少一个：特定于音频对象周围的空间的空间混响信息和特定于音频对象的对象混响信息；由信号处理装置基于混响信息和音频对象信号来生成音频对象的混响分量的信号；以及由信号处理装置执行音频对象的混响分量和音频对象信号的混响处理，以生成输出音频信号。

10、根据本技术的一个方面的在其上存储有指令的计算机可读存储介质，当由计算机执行时，所述指令使所述计算机执行包含以下步骤的处理：获取混响信息和音频对象的音频对象信号，所述混响信息包括以下中的至少一个：特定于音频对象周围的空间的空间混响信息和特定于所述音频对象的对象混响信息；基于所述混响信息和所述音频对象信号来生成所述音频对象的混响分量的信号；以及执行所述音频对象的混响分量和所述音频对象信号的混响处理，以生成输出音频信号。

11、在本技术的一个方面中，获取混响信息，该混响信息包括特定于音频对象周围的空间的空间混响信息或特定于音频对象的对象混响信息和音频对象的音频对象信号中的至少一个，并且基于混响信息和音频对象信号生成音频对象的混响分量的信号。

12、本发明的效果

13、根据本技术的一个方面，可以提高编码效率。

14、注意，本文描述的效果不必受到限制，并且可以是本公开中描述的任何效果。

技术特征：

1.一种信号处理装置，包含：

2.根据权利要求1所述的信号处理装置，其中，以低于所述对象混响信息的频率来获取所述空间混响信息。

3.根据权利要求1所述的信号处理装置，其中，在由所述获取单元获取指示过去混响信息的识别信息的情况下，所述混响处理单元基于由所述识别信息指示的所述混响信息和所述音频对象信号来生成所述混响分量的信号。

4.根据权利要求3所述的信号处理装置，其中，所述识别信息是指示所述对象混响信息的信息，并且

5.根据权利要求1所述的信号处理装置，其中，所述对象混响信息是取决于所述音频对象的位置的信息。

6.根据权利要求1所述的信号处理装置，其中，所述混响处理单元：

7.根据权利要求1所述的信号处理装置，其中，所述混响单元执行所述音频对象信号和对象混响信息的位置信息的混响处理，以提供所述输出音频信号。

8.根据权利要求1所述的信号处理装置，其中，所述混响单元执行所述音频对象信号和空间混响信息的位置信息的混响处理，以提供所述输出音频信号。

9.根据权利要求1所述的信号处理装置，其中，所述混响单元通过基于矢量的振幅平移vbap执行混响处理。

10.一种信号处理方法，包含：

11.一种在其上存储有指令的计算机可读存储介质，当由计算机执行时，所述指令使所述计算机执行包含以下步骤的处理：

技术总结本技术涉及能够提高编码效率的信号处理装置、方法和存储介质。信号处理装置包含：获取单元，用于获取混响信息和音频对象的音频对象信号，其中该混响信息包括音频对象周围的空间中固有的空间混响信息和音频对象中固有的对象混响信息中的至少一个；以及混响处理单元，用于基于混响信息和音频对象信号产生音频对象的混响分量的信号。本技术适用于信号处理装置。技术研发人员：本间弘幸,辻实,知念徹受保护的技术使用者：索尼公司技术研发日：技术公布日：2024/2/1