对图片序列进行编码和解码的制作方法

背景技术：

1、当传输图片序列时，例如由相机捕获的图片序列或计算机屏幕的桌面的屏幕捕获的图片序列，只有有限的带宽可用于传输该信息。为了解决这个问题，图片数据以有损的方式压缩，例如，首先包括利用源数据中的空间和/或时间相关性的变换，然后对去相关性变换创建的系数进行量化和编码。为了实现时间预测，编码器和解码器都需要在表示为“帧缓冲区”的单元中保存过去帧的数据。在fpga实现中，这产生了必须同时传输来自数据源(例如，相机或计算机桌面)和帧缓冲区二者的更大量数据的额外负担。由于源、帧缓冲区和处理设备之间的带宽也是一个限制因素，因此保持完整大小的帧缓冲区可能会对应用程序施加限制，或者可能无法实现。

技术实现思路

1、因此，需要一种视频编码概念，它在编码的视频数据的良好率失真关系(例如，率(例如编码成序列的数据的大小)与失真(例如，信息损失或质量损失)之间的比率)和低缓冲区要求(例如编码或解码图片序列所需的低缓冲区大小)之间提供更优的权衡。

2、根据一个实施例，一种用于从数据流中解码图片序列的装置被配置为通过以下方式来解码该序列中的一张图片(例如，当前解码的图片)：从数据流中得出该一张图片的残差变换信号；将该残差变换信号与序列中的前一张图片(例如，在序列中(直接)在当前解码的图片之前的图片)的缓冲变换信号相组合，以获取该一张图片的变换信号，变换信号以光谱分量表示该一张图片(例如，变换信号与前一张图片无关)；以及对变换信号进行光谱到空间的变换(例如，逆频率变换)。根据实施例，缓冲变换信号包括从表示前一张图片的光谱分量中选出的选中者。

3、根据一个实施例，一种用于将图片序列编码为数据流的装置被配置为通过以下方式对该序列中的一张图片(例如，当前编码的图片)进行编码：对该一张图片的空间表示进行空间到光谱的变换(例如，小波变换或频率变换)，以获取变换信号，该变换信号以光谱分量表示该一张图片(例如，变换信号与前一张图片无关)；基于序列中的前一张图片(例如，在序列中(直接)在当前解码的图片之前的图片)的缓冲变换信号和变换信号来得出残差变换信号；以及将该一张图片的残差变换信号编码到数据流中。根据实施例，缓冲变换信号包括从表示前一张图片的光谱分量中选出的选中者。

4、本发明的实施例依赖于增强用于编码变换信号的率失真关系的思想，该变换信号以光谱分量表示要编码的图片，通过使用从前一张图片获取的缓冲变换信号，以获取残差变换信号，残差变换信号被编码到数据流中。因此，可以利用图片序列中的后续图片之间的相关性，其在示例中可以被视为时间相关性，使得残差变换信号可以具有比变换信号更低的数据速率。对前一张图片的光谱分量中选出的选中者进行缓冲，可以控制在提供目标应用程序的过程中用于缓冲缓冲控制信号所需的缓冲区大小。例如，该选中者不一定包括所有光谱分量，而是可以包括图片的光谱分量的子集，从而降低缓冲变换信号的数据速率。与对未变换的图片(即在空间域中，在空间到光谱的变换之前)执行的时间预测相反，本文公开的概念的示例可以提供在不缓冲整个图片的情况下进行时间预测的高效计算方式。特别地，对前一张图片的光谱分量的选中者缓冲可以允许以相对适中的缓冲区大小实现残差变换信号的数据速率的相对较高的降低(即，编码的图片的率失真关系的相对较高的增强)。这些优点等效地应用于编码器侧和解码器侧，因为在解码器侧，前一张图片的光谱分量(前一张图片已被用于得出编码器侧的当前图片的残差变换信号)被缓冲，以便基于残差变换信号来确定当前图片的变换信号。

5、根据一个实施例，一种用于从数据流中解码图片序列的方法具有通过以下步骤解码该序列中的一张图片的步骤：从数据流中得出该一张图片的残差变换信号；将残差变换信号与序列中的前一张图片的缓冲变换信号相组合，以获取该一张图片的变换信号，变换信号以光谱分量表示该一张图片；以及对变换信号进行光谱到空间的变换。缓冲变换信号包括从表示前一张图片的光谱分量中选出的选中者。

6、根据一个实施例，一种用于将图片序列编码到数据流中的方法具有通过以下步骤对该序列中的一张图片进行编码的步骤：对该一张图片的空间表示进行空间到光谱的变换，以获取变换信号，该变换信号用光谱分量表示该一张图片；基于序列中的前一张图片的缓冲变换信号和变换信号来得出残差变换信号；以及将该一张图片的残差变换信号编码到数据流中。缓冲变换信号包括从表示前一张图片的光谱分量中选出的选中者。

7、根据一个实施例，非瞬时数字存储介质具有存储在其上的计算机程序，当上述计算机程序由计算机运行时，执行用于将图片序列编码到数据流中的方法，其中该方法具有通过以下步骤对该序列中的图片进行编码的步骤：对该一张图片的空间表示进行空间到光谱的变换，以获取变换信号，该变换信号以光谱分量表示该一张图片；基于序列中的前一张图片的缓冲变换信号和变换信号来得出残差变换信号；并将该一张图片的残差变换信号编码到数据流中；其中，缓冲变换信号包括从表示前一张图片的光谱分量中选出的选中者。

8、根据一个实施例，非瞬时数字存储介质具有存储在其上的计算机程序，当上述计算机程序由计算机运行时，执行用于从数据流中解码图片序列的方法，其中该方法具有通过以下步骤解码该序列中的图片的步骤：从数据流得出该一张图片的残差变换信号；将残差变换信号与序列中的前一张图片的缓冲变换信号相组合，以获取该一张图片的变换信号，变换信号以光谱分量表示该一张图片；以及对变换信号进行光谱到空间的变换；其中，缓冲变换信号包括从表示前一张图片的光谱分量中选出的选中者。

9、根据一个实施例，数据流具有编码到其中的图片序列，该图片序列通过用于将图片序列编码到数据流中的方法而被编码到数据流中，其中该方法具有通过以下步骤对该序列中的一张图片进行编码的步骤：对该一张图片的空间表示进行空间到光谱的变换，以获取变换信号，该变换信号以光谱分量表示该一张图片；基于序列中的前一张图片的缓冲变换信号和变换信号来得出残差变换信号；并将该一张图片的残差变换信号编码到数据流中；其中，缓冲变换信号包括从表示前一张图片的光谱分量中选出的选中者。

技术特征：

1.一种用于从数据流(14)中解码图片序列(15)的装置(11)，其中，所述装置被配置为通过以下步骤解码序列中的一张图片(12')：

2.根据权利要求1所述的装置，其中，所述装置被配置为通过组合所述缓冲变换信号(52)和所述残差变换信号(32')的相互对应的光谱分量来组合所述残差变换信号(32')与所述缓冲变换信号(52)。

3.根据权利要求1或2中任一项所述的装置，其中，在所述缓冲变换信号(52)中用信号通知的光谱分量的所述选中者包括至少一个与非零频率相关联的光谱分量。

4.根据权利要求1至3中任一项所述的装置，其中，所述光谱到空间的变换是逆离散小波变换。

5.根据权利要求1至4中任一项所述的装置，其中，所述装置用于从所述数据流中用信号通知的语法元素中得出待被缓冲用于所述缓冲变换信号(52)的光谱分量的所述选中者。

6.根据权利要求1至5中任一项所述的装置，其中，所述装置被配置为

7.根据权利要求6所述的装置，其中，所述装置被配置为通过以下步骤从所述另外的变换信号(22'*)中得出所述缓冲变换信号(52)：

8.根据权利要求6或7中任一项所述的装置，其中，以部分为单位将图片编码到所述数据流中，每个所述部分与所述图片的空间区域相关联，其中，所述残差变换信号(32')针对每个所述部分包括多个光谱分量，以及其中，所述装置被配置为

9.根据权利要求8所述的装置，

10.根据权利要求8或9中任一项所述的装置，

11.根据权利要求6至10中任一项所述的装置，其中，所述装置被配置为

12.根据权利要求11所述的装置，其中，对于每个光谱分量，所述变换信号和所述另外的变换信号包括所述一张图片的变换后的表示，所述变换后的表示包括样本阵列的多个系数，以及

13.一种用于将图片序列编码到数据流中的装置(10)，其中，所述装置被配置为通过以下步骤对所述序列中的一张图片进行编码：

14.根据权利要求13所述的装置，其中，所述装置被配置为通过使用所述缓冲变换信号(52)的对应光谱分量来预测所述变换信号(22)的光谱分量，得出所述一张图片的所述残差变换信号(32)。

15.根据权利要求13或14中任一项所述的装置，其中，在所述缓冲变换信号(52)中用信号通知的光谱分量的所述选中者包括至少一个与非零频率相关联的光谱分量。

16.根据权利要求13至15中任一项所述的装置，其中，所述空间到光谱的变换是离散小波变换。

17.根据权利要求13至16中任一项所述的装置，其中，所述装置用于将语法元素编码到所述数据流中，所述语法元素指示为所述缓冲变换信号(52)缓冲的光谱分量的所述选中者。

18.根据权利要求13至17中任一项所述的装置，其中，所述装置被配置为

19.根据权利要求18所述的装置，其中，所述装置被配置为通过以下步骤从所述另外的残差变换信号(32*)中得出所述缓冲变换信号(52)：

20.根据权利要求18或19中任一项所述的装置，其中，所述装置被配置为

21.根据权利要求18至20中任一项所述的装置，其中，所述装置被配置为以部分为单位将图片编码到所述数据流中，每个所述部分与所述图片的空间区域相关联，其中，对于所述一张图片中的每个所述部分，所述残差变换信号(32)包括多个光谱分量，并且其中，所述装置被配置用于

22.根据权利要求21所述的装置，

23.根据权利要求21或22中任一项所述的装置，

24.根据权利要求18至23中任一项所述的装置，其中，所述装置被配置为

25.根据权利要求24所述的装置，其中，对于每个光谱分量，所述残差变换信号和所述另外的残差变换信号包括所述一张图片的变换后的表示，所述变换后的表示包括样本阵列的多个系数，以及

26.一种用于从数据流中解码图片序列的方法，其中所述方法包括通过以下步骤解码所述序列中的一张图片：

27.一种用于将图片序列编码到数据流中的方法，其中，所述方法包括通过以下步骤对所述序列中的一张图片进行编码：

28.一种非暂时性数字存储介质，其上存储有计算机程序，以在所述计算机程序由计算机运行时执行用于从数据流中解码图片序列的方法，其中所述方法包括通过以下步骤解码所述序列中的一张图片：

29.一种非暂时性数字存储介质，其上存储有计算机程序，以在所述计算机程序由计算机运行时执行用于将图片序列编码到数据流中的方法，其中所述方法包括通过以下步骤对所述序列中的一张图片进行编码：

30.一种数据流，具有图片序列编码到其中，所述图片序列通过用于将图片序列编码到数据流中的方法而被编码到所述数据流中，其中，所述方法包括通过以下步骤对所述序列中的一张图片进行编码：

技术总结一种用于从数据流中解码图片序列的装置，其配置为通过以下方式解码该序列的图片:从数据流中得出该图片的残差变换信号；将残差变换信号与序列中的前一张图片的缓冲变换信号相组合，以得到该图片的变换信号，该变换信号以光谱分量表示该图片；并对变换信号进行光谱到空间的变换，其中，缓冲变换信号包括从表示前一张图片的光谱分量中选择出来的信号。技术研发人员：托马斯·里克特,沃尔夫冈·赫普纳,约阿希姆·凯纳特,齐格弗里德·菲塞尔,赫伯特·托马,克里斯蒂安·谢尔,克里斯蒂安·米努斯,比拉勒·艾哈迈德,尼莎·巴斯卡,海科·斯帕伦伯格受保护的技术使用者：弗劳恩霍夫应用研究促进协会技术研发日：技术公布日：2024/8/27