编码和解码图像帧的编码树单元的编码块的方法和设备与流程

本发明通常涉及数字视频信号处理，尤其涉及用于对视频样本的块树进行编码和解码的方法、设备和系统。本发明还涉及包括记录有用于对视频样本的块树进行编码和解码的计算机程序的计算机可读介质的计算机程序产品。

背景技术：

1、当前存在包括用于传输和存储视频数据的应用的许多视频编码用的应用。还开发了许多视频编码标准并且其它视频编码标准当前正在开发中。视频编码标准化的最新进展已导致形成被称为“联合视频专家组”(jvet)的组。该联合视频专家组(jvet)包括：还已知为“视频编码专家组”(vceg)的国际电信联盟(itu)的电信标准化部门(itu-t)的研究组16、问题6(sg16/q6)的成员；以及还已知为“运动图片专家组”(mpeg)的国际标准化组织/国际电工委员会联合技术委员会1/小组委员会29/工作组11(iso/iec jtc1/sc29/wg11)的成员。

2、联合视频专家组(jvet)发布了提案征集(cfp)，并在美国圣地亚哥市举行的第10次会议上对答复进行了分析。所提交的答复表明，视频压缩能力明显优于当前最先进的视频压缩标准(即，“高效率视频编码”(hevc))的视频压缩能力。基于该优异表现，决定开始用以开发命名为“通用视频编码”(vvc)的新视频压缩标准的项目。预计vvc将特别是随着视频格式的能力的增加(例如，具有更高的分辨率和更高的帧频)解决针对甚至更高的压缩性能的持续需求、以及解决针对通过wan的服务提供(其中，带宽成本相对较高)的日益增长的市场需求。同时，vvc必须可在当代硅工艺中实现，并且在所实现的性能与实现成本之间(例如，在硅面积、cpu处理器负荷、存储器利用率和带宽方面)提供可接受的折衷。

3、视频数据包括各自包括一个或多个颜色通道的图像数据的帧序列。通常，需要一个主颜色通道和两个二次颜色通道。主颜色通道通常被称为“亮度”通道，并且(一个或多个)二次颜色通道通常被称为“色度”通道。尽管视频数据通常在rgb(红-绿-蓝)颜色空间中显示，但该颜色空间在三个相应分量之间具有高度相关性。编码器或解码器所看到的视频数据表示通常使用诸如ycbcr等的颜色空间。ycbcr将发光度(根据变换方程映射到“亮度”)集中在y(主)通道中，并且将色度集中在cb和cr(二次)通道中。此外，可以以与亮度通道相比更低的速率(例如，在水平方向上为一半且在垂直方向上为一半(被称为“4:2:0色度格式”))对cb和cr通道进行空间采样。4:2:0色度格式通常用于“消费者”应用中，诸如互联网视频流式传输、广播电视以及蓝光tm盘上的存储。在水平方向上以半速率对cb和cr通道进行子采样而不是垂直地进行子采样被称为“4:2:2色度格式”。4:2:2色度格式通常用于专业应用中，包括用于电影制作等的镜头的捕获。4:2:2色度格式的较高采样速率使得所得视频对编辑操作(诸如颜色分级等)更有弹性。在分发到消费者之前，4:2:2色度格式材料经常被转换为4:2:0色度格式，然后被编码以分发到消费者。除了色度格式之外，视频还由分辨率和帧频来表征。示例分辨率是具有3840×2160的分辨率的超高清晰度(ud)或具有7680×4320的分辨率的“8k”，并且示例帧频是60hz或120hz。亮度样本速率的范围可以从约500兆样本/秒到数千兆样本/秒。对于4:2:0色度格式，各个色度通道的采样率是亮度采样率的四分之一，并且对于4:2:2色度格式，各个色度通道的采样率是亮度采样率的一半。

4、vvc标准是一种“基于块”的编解码器，其中，帧首先被分割成称为“编码树单元”(ctu)的正方形区域阵列。ctu通常占据相对大的区域，诸如128×128个亮度样本等。然而，各帧的右和底边缘的ctu的区域可能较小。与各ctu相关联的是针对亮度通道的“编码树”和针对色度通道的附加编码树。编码树定义了将ctu的区域分解为一组区域，也称为“编码块”(cb)。还可以针对单个编码树指定亮度通道和色度通道这两者的块，在这种情况下，并置的编码块的集合被称为“编码单元”(cu)，即，各个cu具有用于各个颜色通道的编码块。按特定顺序处理cb以进行编码或解码。作为使用4:2:0色度格式的结果，包括128×128亮度样本区域的亮度编码树的ctu具有与128×128亮度样本区域并置的64×64色度样本区域的相应色度编码树。当单个编码树用于亮度通道和色度通道时，给定区域的并置块的集合通常称为“单元”，例如上述cu以及“预测单元”(pu)和“变换单元”(tu)。当针对给定区域使用单独的编码树时，将使用上述cb以及“预测块”(pb)和“变换块”(tb)。

5、尽管在“单元”和“块”之间有上述区别，但是术语“块”可以用作针对将操作应用于所有颜色通道的帧的区域(area)或区(region)的通用术语。

6、对于各cu，生成帧数据的相应区域的内容(样本值)的预测单元(pu)(“预测单位”)。此外，形成了在编码器的输入处看到的预测与区域内容之间的差(或在空间域中的“残差”)的表示。各颜色通道的差可以被变换并编码为残差系数的序列，从而形成给定cu的一个或多个tu。所应用的变换可以是应用于残差值的各个块的离散余弦变换(dct)或其它变换。该变换是分开应用的，即分两遍进行二维变换。首先通过对块中的各行样本应用一维变换来对块进行变换。然后，通过对部分结果的各列应用一维变换来对部分结果进行变换，以产生基本上对残差样本进行去相关的变换系数的最终块。vvc标准支持各种大小的变换，包括矩形块(各边尺寸为2的幂)的变换。量化变换系数以用于将熵编码在位流中。

7、当空间预测(“帧内预测”)用于生成pb时，一组参考样本用于生成当前pb的预测样本。参考样本包括已经“重建”的与pb相邻的样本(将残差样本添加到帧内预测样本)。这些相邻样本形成pb上方的行和pb左侧的列。行和列还延伸超过pb边界以包括附加的附近样本。由于以z顺序扫描来扫描块，一些参考样本将在紧挨着的先前块中被重建。使用来自紧挨着的先前块的样本导致反馈依赖，这可能限制通过视频编码器或解码器的块的吞吐量。另外，在从其它帧预测相对小的块(“帧间预测”)的情况下，用于提取参考样本的存储器带宽可能变得过大，尤其是考虑容纳子像素插值滤波所需的附加样本。

技术实现思路

1、本发明的目的是基本上克服或至少改善现有布置的一个或多个缺点。

2、本发明的一个方面提供一种从位流中解码图像帧的编码树单元的编码块的方法，所述方法包括：确定所述图像帧的色度格式，所述色度格式使得相对于所述图像帧的亮度通道对所述图像帧的色度通道进行子采样；基于所确定的色度格式来确定所述编码树单元的色度通道之一的色度编码块的大小，其中，色度编码块与相应的多个亮度块并置；在所确定的色度块的大小为预定最小色度块大小的情况下，确定为使用帧内预测来对色度编码块进行编码；以及使用针对色度编码块的帧内预测以及针对相应的多个亮度编码块至少之一的帧间预测来对编码树的编码块进行解码。

3、根据另一方面，色度格式是4:2:0。

4、根据另一方面，色度格式是4:2:2。

5、根据另一方面，在多个亮度块是128个亮度样本的亮度区域的三元拆分的结果的情况下，所述预定最小色度块大小为32。

6、根据另一方面，在多个亮度块是64个亮度样本的亮度区域的四叉树、二元或三元拆分的结果的情况下，所述预定最小色度块大小为16。

7、根据另一方面，使用dc帧内预测来对色度块进行解码。

8、根据另一方面，(i)使用从所述位流中解码的拆分模式将所述编码树单元的亮度编码单元分割成多个亮度编码块，以及(ii)针对色度通道中的各个色度通道生成最小预定大小的色度编码块。

9、根据另一方面，多个亮度编码块中的各个亮度编码块与所生成的色度编码块至少部分地重叠。

10、根据另一方面，所述方法还包括：确定为色度块的大小是基于禁止色度拆分的列表的预定最小大小。

11、根据另一方面，所述位流通过包括intra_chroma_pred_mode句法元素来用信号通知多个可能的帧内预测模式中的一个帧内预测模式。

12、本发明的另一方面提供一种非暂时性计算机可读介质，其具有存储在其上的计算机程序以实现从位流中解码图像帧的编码树单元的编码块的方法，所述程序包括：用于确定所述图像帧的色度格式的代码，所述色度格式使得相对于所述图像帧的亮度通道对所述图像帧的色度通道进行子采样；用于基于所确定的色度格式来确定所述编码树单元的色度通道之一的色度编码块的大小的代码，其中，色度编码块与相应的多个亮度块并置；用于在所确定的色度块的大小为预定最小色度块大小的情况下、确定为使用帧内预测来对色度编码块进行编码的代码；以及用于使用针对色度编码块的帧内预测以及针对相应的多个亮度编码块至少之一的帧间预测来对编码树的编码块进行解码的代码。

13、本发明的另一方面提供一种视频解码器，其被配置为：从位流中接收图像帧的编码树单元；确定所述图像帧的色度格式，所述色度格式使得相对于所述图像帧的亮度通道对所述图像帧的色度通道进行子采样；基于所确定的色度格式来确定所述编码树单元的色度通道之一的色度编码块的大小，其中，色度编码块与相应的多个亮度块并置；在所确定的色度块的大小为预定最小色度块大小的情况下，确定为使用帧内预测来对色度编码块进行编码；以及使用针对色度编码块的帧内预测以及针对相应的多个亮度编码块至少之一的帧间预测来对编码树的编码块进行解码。

14、本发明的另一方面提供一种系统，包括：存储器；以及处理器，其中，所述处理器被配置为执行存储在所述存储器上的代码以实现从位流中解码图像帧的编码树单元的编码块的方法，所述方法包括：确定所述图像帧的色度格式，所述色度格式使得相对于所述图像帧的亮度通道对所述图像帧的色度通道进行子采样；基于所确定的色度格式来确定所述编码树单元的色度通道之一的色度编码块的大小，其中，色度编码块与相应的多个亮度块并置；在所确定的色度块的大小为预定最小色度块大小的情况下，确定为使用帧内预测来对色度编码块进行编码；以及使用针对色度编码块的帧内预测以及针对相应的多个亮度编码块至少之一的帧间预测来对编码树的编码块进行解码。

15、本发明的另一方面提供一种使用主变换和二次变换来从视频位流中解码块的方法，所述方法包括：独立于所述块的帧内预测模式来选择第一上下文；使用所选择的第一上下文来解码第一bin；选择第二上下文；在所选择的第一bin指示存在第二bin的情况下，使用所选择的第二上下文来解码第二bin；以及使用所述主变换之后的所述二次变换来解码所述块，所述二次变换是基于从所解码的第一bin和所解码的第二bin导出的二次变换索引。

16、本发明的另一方面提供一种非暂时性计算机可读介质，其上存储有计算机程序以实现使用主变换和二次变换来从视频位流中解码块的方法，所述程序包括：用于独立于所述块的帧内预测模式来选择第一上下文的代码；用于使用所选择的第一上下文来解码第一bin的代码；用于选择第二上下文的代码；用于在所选择的第一bin指示存在第二bin的情况下、使用所选择的第二上下文来解码第二bin的代码；以及用于使用所述主变换之后的所述二次变换来解码所述块的代码，所述二次变换是基于从所解码的第一bin和所解码的第二bin导出的二次变换索引。

17、本发明的另一方面提供一种视频解码器，其被配置为：从视频位流中接收块；独立于所述块的帧内预测模式来选择第一上下文；使用所选择的第一上下文来解码第一bin；选择第二上下文；在所选择的第一bin指示存在第二bin的情况下，使用所选择的第二上下文来解码第二bin；以及使用所述主变换之后的所述二次变换来解码所述块，所述二次变换是基于从所解码的第一bin和所解码的第二bin导出的二次变换索引。

18、还公开了其它方面。