边界强制分区的改进的制作方法

本发明涉及图像和/或视频编码和解码，特别涉及将图像分割成编码单元。

背景技术：

1、基于当前块的混合视频编解码器采用预测编码。将视频序列的图片细分为像素块，再对这些块进行编码。不是逐像素地对块进行编码，而是通过与所述块在空间或时间上邻近的已经编码的像素，对整个块进行预测。编码器仅对所述块与对所述块的预测之间的差异作进一步的处理。所述进一步的处理通常包括将所述块的像素变换为变换域中的系数。然后，可以对所述系数作进一步的压缩(例如，通过量化)和进一步的压紧(例如，通过熵编码)以形成码流。所述码流还可以包括使解码器能够对已经编码的视频进行解码的任何信令信息。例如，所述信令可以包括与编码器设置相关的设置，例如输入图片的尺寸、帧速率、量化步长指示、应用于对图片的块的预测等。

2、块与对其的预测之间的差异称为块的残差。更具体地，所述块的每个像素都具有残差，即该像素的强度级别与预测的强度级别之间的差值。像素的强度级别称为像素值或像素的值。块的所有像素的残差统称为块的残差。换言之，所述块具有残差，所述残差是由所述块的所有像素的残差组成的集合或矩阵。然后，将残差进行变换、量化，并与信令信息一起进行编码。编码可能包括固定长度和可变长度编码的各种形式，包括算术编码或其它熵编码类型。

3、在基于块的混合视频编码过程中，将每个图片分割为样本块，并将图片中的多个块聚合在一起，以形成作为独立的可解码实体的条带。应用预测和/或变换的块称为编码单元(coding unit，简称cu)或编码块(coding block，简称cb)。编码单元的尺寸可能不同。

4、例如，在高效视频编码(high-efficiency video coding，简称hevc，也称为h.265)中，视频帧被细分为编码树单元(coding tree unit，简称ctu，也称为编码树块，coding tree block，简称ctb)。ctb都是尺寸相同的不相交的方形块，例如64x64样本。每个ctb都是块分区四叉树结构(即编码树)的根。ctb可以沿着编码树的结构进一步地细分为编码块。对于编码块，可以确定预测类型。编码块可以进一步地分割成更小的变换块，所述变换块可应用转换和量化。

5、关于hevc中的分区细节可参见由v.sze等人编写，并于2014年由施普林格出版社发行的《高效视频编码(hevc)：算法与架构》第3章第2节。

6、此外，wo 2016/090568示出了二叉树结构，可通过四叉树加二叉树结构将一个单元分区为多个较小的单元。相应地，先通过四叉树结构对根单元进行分区，然后通过二叉树结构对所述四叉树的叶节点进行进一步地分区。

技术实现思路

1、在hevc标准中，将位于条带或图片边界上的ctu和cu通过四叉树分割强制分割，直到叶子节点的右下角样本位于条带或图片边界中。只要分割规则是固定的(预定义的)，所述强制四叉树分割不需要在码流中发送。强制分区的目的是使编码器和解码器能够处理图片和条带，这些图片和条带的水平和/或垂直尺寸不是ctu各自水平和/或垂直尺寸的整数倍。

2、在hevc和wo 2016/090568中，强制分区过程通过四叉树方法对帧边界上的ctu和cu进行分层地分区，而无需进行速率失真(rate-distortion，简称rc)优化，直到整个当前cu位于条带或图片边界内。这些强制分区不需要在所述码流中发送。然而，分割成非常小的编码单元可能会进一步地引入与较小编码单元的单独进一步处理(编码、解码))有关的复杂性和信令需求。

3、根据本发明，强制分区至少在最深的分区分层等级中应用二叉树分割，或者至少在除最深的分区分层等级之外的分区等级中应用二叉树分割，在所述最深的分区分层等级中，编码单元不完全位于边界部分内。

4、这种分割更加高效，因为它导致的最深分层等级中的编码单元的数量更少。

5、根据本发明的一个方面，提供了一种用于将图像部分分割为编码单元的装置，该装置包括处理电路。该处理电路在操作中：将所述图像部分细分为具有在先确定尺寸的整数个编码树单元和在至少第一方向上尺寸小于所述在先确定尺寸的边界部分，其中所述第一方向为水平或垂直方向；并将所述边界部分分层地分区成编码单元，包括在各自水平和垂直方向上尺寸不同的最深编码单元，所述最深编码单元的尺寸在所述第一方向上较小。

6、这种方法的优点是避免所述图片边界上存在太多较小cu，也从而提高了所述边界部分的编码效率。

7、根据示例，所述处理电路用于至少在最深分区等级中通过二叉树分割来对所述边界部分进行分区。

8、作为对所述二叉树分割的补充或替代，所述处理电路可用于也通过四叉树分割来对边界部分分区。

9、根据一个示例，所述处理电路在操作中，在n个最浅等级中通过四叉树分割对所述边界部分进行分区，所述n是大于或等于零且小于分区分层等级的数量的整数；并在剩余分区分层等级中通过二叉树分割对所述边界部分进行分区。

10、这种方法使配置更为灵活，并且还通过避免大量的较小方形边界cu来确保有效地对所述边界进行编码。

11、在一种实施方式中，所述处理电路在操作中对所述边界部分进行分区，直到所述最深等级的编码单元完全位于所述边界部分之内。

12、在一种实施方式中所述处理电路在操作中通过二叉树分割在水平和垂直方向上对所述边界部分进行分区。

13、此外或可选地，所述处理电路在操作中通过四叉树分割在每个分层等级中对所述边界部分的角落部分进行分区。

14、除了对所述边界部分的ctu混合使用四叉树和二叉树分割，所述处理电路还可以用于通过二叉树分割在所有分区等级中对边界部分进行分区。

15、根据本发明的一个方面，提供了一种用于对视频序列的图像进行编码的装置，所述装置包括：根据上述示例和实施方式中的任意一种所述的用于将图像部分分割成编码单元的装置；图像编码单元，用于对所述编码单元进行编码；以及码流形成单元，用于生成包括所述已经编码的编码单元和指示如何对所述编码树单元进行分区的分区信息的码流。

16、例如，所述编码器还包括速率失真优化单元，用于根据除所述最深等级之外的任意分区等级的速率失真优化来确定所述边界部分的分层分割。

17、本发明的另一方面包括用于解码视频序列的图像的装置，该装置包括：根据上述示例和实施方式中的任意一种所述的用于确定将待解码的图像部分分割成编码单元的装置；码流解析器，用于基于所述图像部分已确定的分割，解析包括已编码的编码单元和指示所述编码树单元如何被分区的分区信息的码流；和图像解码单元，用于解码所述已编码的编码单元。

18、根据一种示例性的实施方式，将所述边界部分分割为编码单元为预定义的分割，所述分区信息与对所述边界部分的分割无关。

19、用于解码的所述装置和/或用于编码的所述装置的所述处理电路，可以用于：在n个最浅等级中通过四叉树分割对边界部分进行分区，所述n为大于或等于零且小于分区分层等级的数量的整数；并在剩余分区分层等级中通过二叉树分割来对边界部分进行分区。此外，在示例性的实施方式中，所述分区信息包括所述n，或n可基于应用于对正在处理的图像进行编码的预测类型来推导。可以基于边界部分的尺寸来推导所述n，所述边界部分的所述尺寸在水平或垂直方向上小于在先确定尺寸。

20、根据本发明的一个方面，提供了一种用于将图像部分分割成编码单元的方法，所述方法包括以下步骤：将所述图像部分细分为具有在先确定尺寸的整数个编码树单元和在至少第一方向上尺寸小于所述在先确定尺寸的边界部分，所述第一方向为水平或垂直方向；并将所述边界部分分层地分区为编码单元，包括在各自水平和垂直方向上具有不同尺寸的最深编码单元，所述最深编码单元的尺寸在所述第一方向上较小。

21、在一个示例性的实施例中，对所述边界部分的分区还包括以下步骤：从作为最浅的分区等级的当前分区等级开始；将所述边界部分依次分割为所述当前分区等级的编码单元，直至所述当前分区等级的边界编码单元完全落入所述边界部分；当所述当前分区等级的所述编码单元不落入所述边界部分内，则增加所述分区等级并进一步地对所述编码单元进行分区，其中，四叉树分割用于n个最浅分区等级，否则使用二叉树分割，所述n为大于或等于零且小于分区分层等级的数量的整数。

22、根据本发明的另一方面，提供了一种用于对视频序列的图像进行编码的方法，该方法包括以下步骤：根据上述方法中的任意一种方法将图像部分分割成编码单元；对所述编码单元进行编码；以及生成包括已编码的编码单元和指示如何对所述编码树单元进行分区的分区信息的码流。

23、根据本发明的另一方面，一种用于解码视频序列的图像的方法，包括：根据上述方法的任意一种方法所述的确定将待解码的图像部分分割为编码单元；基于所述图像部分已确定的分割，解析包括所述已编码的编码单元和指示如何对所述编码树单元进行分区的分区信息的码流；解码已编码的编码单元。

24、根据一个示例，所述分区步骤至少在所述最深的分区等级中通过二叉树分割对所述边界部分进行分区。

25、作为所述二叉树分割的补充或替代方法，所述分区步骤也可以通过四叉树分割来对所述边界部分进行分区。

26、根据一个示例，所述分区步骤在n个最浅等级中通过四叉树分割来对所述边界部分进行分区，所述n是大于或等于零且小于所述分区分层等级的数量的整数；并在剩余分区分层等级中通过二叉树分割来对所述边界部分进行分区。

27、在一种实施方式中，所述分区步骤对所述边界部分进行分区，直到所述最深等级的编码单元完全位于所述边界部分内。

28、在一种实施方式中，在操作中，处理电路通过二叉树分割在水平和垂直方向上来对所述边界部分进行分区。

29、另外，或可替代地，所述处理步骤，通过四叉树分割在每个分层等级中对所述边界部分的角落部分进行分区。

30、作为对所述边界部分ctu混合使用四叉树和二叉树分割的替代，所述分区步骤可以通过二叉树分割来对所有分区等级中的边界部分进行分区。

31、根据本发明的另一方面，提供了一种计算机可读介质，用于存储指令，当所述指令被处理器执行时，所述指令使得所述处理器执行上述方面和示例中的任意一种方法。