对编码单元进行编码和解码的方法、设备和存储介质与流程

本发明通常涉及数字视频信号处理，尤其涉及用于对视频样本的块进行编码和解码的方法、设备和系统。本发明还涉及包括记录有用于对视频样本的块进行编码和解码的计算机程序的计算机可读介质的计算机程序产品。

背景技术：

1、当前存在包括用于传输和存储视频数据的应用的许多视频编码用的应用。还开发了许多视频编码标准并且其它视频编码标准当前正在开发中。视频编码标准化的最新进展已导致形成被称为“联合视频专家组”(jvet)的组。该联合视频专家组(jvet)包括：还已知为“视频编码专家组”(vceg)的国际电信联盟(itu)的电信标准化部门(itu-t)的研究组16、问题6(sg16/q6)的成员；以及还已知为“运动图片专家组”(mpeg)的国际标准化组织/国际电工委员会联合技术委员会1/小组委员会29/工作组11(iso/iec jtc1/sc29/wg11)的成员。

2、联合视频专家组(jvet)发布了提案征集(cfp)，并在美国圣地亚哥市举行的第10次会议上对答复进行了分析。所提交的答复表明，视频压缩能力明显优于当前最先进的视频压缩标准(即，“高效率视频编码”(hevc))的视频压缩能力。基于该优异表现，决定开始用以开发命名为“通用视频编码”(vvc)的新视频压缩标准的项目。预计vvc将特别是随着视频格式的能力的增加(例如，具有更高的分辨率和更高的帧频)解决针对甚至更高的压缩性能的持续需求、以及解决针对通过wan的服务提供(其中，带宽成本相对较高)的日益增长的市场需求。诸如沉浸式视频等的用例需要实时编码和解码这种较高的格式，例如，立方体地图投影(cmp)可以使用8k格式，即使最终渲染的“视口”利用较低的分辨率。vvc必须可在当代硅工艺中实现，并且在所实现的性能与实现成本之间提供可接受的折衷。例如，在硅面积、cpu处理器负荷、存储器利用率和带宽的一个或多于一个方面可以考虑实现成本。可以通过将帧区域分割成部分并且并行处理各个部分来处理较高视频格式。由压缩帧的多个部分构建的位流仍适合于由“单核”解码器解码，即根据应用需要将帧级约束(包括位率)分配给各个部分。

3、视频数据包括图像数据的帧序列，各个帧包括一个或多于一个颜色通道。通常，需要一个主颜色通道和两个二次颜色通道。主颜色通道通常被称为“亮度”通道，并且(一个或多于一个)二次颜色通道通常被称为“色度”通道。尽管视频数据通常在rgb(红-绿-蓝)颜色空间中显示，但该颜色空间在三个相应分量之间具有高度相关性。编码器或解码器所看到的视频数据表示通常使用诸如ycbcr等的颜色空间。ycbcr将发光度(根据变换方程映射到“亮度”)集中在y(主)通道中，并且将色度集中在cb和cr(二次)通道中。由于使用去相关的ycbcr信号，因此亮度通道的统计与色度通道的统计明显不同。主要差异在于：在量化之后，与相应亮度通道块的系数相比，色度通道针对给定块包含相对较少的有效系数。此外，可以以与亮度通道相比更低的速率(例如，在水平方向上为一半且在垂直方向上为一半(被称为“4:2:0色度格式”))对cb和cr通道进行空间采样。4:2:0色度格式通常用于“消费者”应用中，诸如互联网视频流式传输、广播电视以及蓝光tm盘上的存储。在水平方向上以半速率对cb和cr通道进行子采样而不是垂直地进行子采样被称为“4:2:2色度格式”。4:2:2色度格式通常用于专业应用中，包括用于电影制作等的镜头的捕获。4:2:2色度格式的较高采样速率使得所得视频对编辑操作(诸如颜色分级等)更有弹性。在分发到消费者之前，4:2:2色度格式材料经常被转换为4:2:0色度格式，然后被编码以分发到消费者。除了色度格式之外，视频还由分辨率和帧频来表征。示例分辨率是具有3840×2160的分辨率的超高清晰度(ud)或具有7680×4320的分辨率的“8k”，并且示例帧频是60hz或120hz。亮度样本速率的范围可以从约500兆样本/秒到数千兆样本/秒。对于4:2:0色度格式，各个色度通道的采样率是亮度采样率的四分之一，并且对于4:2:2色度格式，各个色度通道的采样率是亮度采样率的一半。

4、vvc标准是“基于块的”编解码器，其中，首先将帧分割成被称为“编码树单元”(ctu)的区域的正方形阵列。在帧不可整数地分割成ctu的情况下，沿着左下边缘的ctu可以在大小上被截断以与帧大小匹配。ctu通常占据相对大的区域，诸如128×128个亮度样本等。然而，在各个帧的右下边缘处的ctu可能在面积上较小。与各个ctu相关联的是“编码树”，其可以是用于亮度通道和色度通道这两者的单个树(“共用树”)，并且可以包括“分叉”到各自用于亮度通道和色度通道的单独的树(或“双树”)中。编码树定义ctu的区域到块集合的分解，所述块集合也称为“编码单元”(cu)。cb被处理以按特定顺序编码或解码。用于亮度和色度的单独编码树通常以64×64亮度样本粒度开始，高于此，存在共用树。由于使用4:2:0色度格式，以64×64亮度样本粒度开始的单独编码树结构包括具有32×32色度样本区域的并置色度编码树。名称“单元”指示跨越导出块的编码树的所有颜色通道的适用性。单个编码树产生具有亮度编码块和两个色度编码块的编码单元。单独编码树的亮度分支产生各自具有亮度编码块的编码单元，并且单独编码树的色度分支产生各自具有一对色度块的编码单元。上述cu还与“预测单元”(pu)和“变换单元”(tu)相关联，预测单元和变换单元各自适用于导出cu的编码树的所有颜色通道。类似地，编码块与预测块(pb)和变换块(tb)相关联，预测块和变换块各自适用于单个颜色通道。具有跨越4:2:0色度格式视频数据的颜色通道的cu的单个树产生具有相应亮度编码块的一半宽度和高度的色度编码块。

5、尽管在“单元”和“块”之间有上述区别，但是术语“块”可以用作针对将操作应用于所有颜色通道的帧的区域(area)或区(region)的通用术语。

6、对于各cu，生成帧数据的相应区域的内容(样本值)的预测单元(或“pu”)。此外，形成了在编码器的输入处看到的预测与区域内容之间的差(或空间域的“残差”)的表示。各颜色通道的差可以被变换并编码为残差系数的序列，从而形成给定cu的一个或多于一个tu。所应用的变换可以是应用于残差值的各个块的离散余弦变换(dct)或其它变换。该变换是分开应用的，即分两遍进行二维变换。首先通过对块中的各行样本应用一维变换来对块进行变换。然后，通过对部分结果的各列应用一维变换来对部分结果进行变换，以产生基本上对残差样本进行去相关的变换系数的最终块。vvc标准支持各种大小的变换，包括矩形块(各边尺寸为2的幂)的变换。量化变换系数以用于将熵编码在位流中。还可应用附加不可分离变换级。最后，变换应用可以被绕过。

7、vvc的特征是帧内预测和帧间预测。帧内预测涉及使用正使用的帧中的先前处理的样本来生成对该帧中的当前样本块的预测。帧间预测涉及使用从先前解码的帧获得的样本块来生成对帧中的当前样本块的预测。从先前解码的帧获得的样本块根据运动矢量从当前块的空间位置偏移，该运动矢量通常已经应用了滤波。帧内预测块可以是(i)均匀样本值(“dc帧内预测”)、(ii)具有偏移以及水平梯度和垂直梯度的平面(“平面帧内预测”)、(iii)具有在特定方向上应用的相邻样本的块的群体(“角度帧内预测”)或者(iv)使用相邻样本和所选择的矩阵系数的矩阵乘法的结果。通过将‘残差’编码在位流中，可以在某种程度上校正预测块与相应输入样本之间的进一步差异。通常将残差从空间域变换到频域以形成残差系数(在“主变换域”中)，可以通过应用“二次变换”进一步变换残差系数(以产生“二次变换域”中的残差系数)。根据量化参数量化残差系数，导致在解码器处产生的样本的重建的精度损失，而位流内的位率也减小。

8、量化参数可以在帧之间以及在各个帧内变化。对于“速率控制”的编码器，帧内量化参数的变化是典型的。不管所接收的输入样本的统计数据(诸如噪声性质、运动程度等)如何，速率控制的编码器都尝试产生具有大体上恒定位率的位流。由于位流通常通过具有有限带宽的网络传送，因此速率控制是用以不管输入到编码器的原始帧的变化如何都确保网络上的可靠性能的普遍技术。在帧以并行区段编码的情况下，速率控制的使用的灵活性是所期望的，因为不同区段在所期望的保真度方面可能具有不同的要求。

9、实现成本(例如，存储器使用、准确度等级和通信效率等中的任一者)也是重要的。

技术实现思路

1、本发明的目的是基本上克服或至少改善现有布置的一个或多于一个缺点。

2、本发明的一个方面提供一种从视频位流中解码来自图像帧的编码树单元的编码树的编码单元的方法，所述编码单元具有亮度颜色通道和至少一个色度颜色通道，所述方法包括：从所述视频位流中解码针对所述编码单元的亮度变换块的亮度变换跳过标志；从所述视频位流中解码至少一个色度变换跳过标志，其中各个经解码色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；确定二次变换索引，所述确定包括：在所述亮度变换跳过标志和色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用二次变换，以及在所述亮度变换跳过标志和所述色度变换跳过标志全部指示不跳过相应变换块的变换的情况下，从所述视频位流中解码所述二次变换索引；根据经解码亮度变换跳过标志、所述至少一个色度变换跳过标志和所确定的二次变换索引来变换所述亮度变换块和所述至少一个色度变换块，以产生所述编码单元的各个变换块的残差样本；以及通过对所述编码单元的各个变换块的残差样本和所述编码单元的各个块的预测块进行组合来对所述编码单元进行解码，其中各个预测块是根据所述编码单元的预测模式生成的。

3、本发明的另一方面提供一种非暂时性计算机可读介质，其上存储有计算机程序以实现从视频位流中解码来自图像帧的编码树单元的编码单元的方法，所述编码单元具有亮度颜色通道和至少一个色度颜色通道，所述方法包括：从所述视频位流中解码针对所述编码单元的亮度变换块的亮度变换跳过标志；从所述视频位流中解码至少一个色度变换跳过标志，其中各个经解码色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；确定二次变换索引，所述确定包括：在所述亮度变换跳过标志和色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用二次变换，以及在所述亮度变换跳过标志和所述色度变换跳过标志全部指示不跳过相应变换块的变换的情况下，从所述视频位流中解码所述二次变换索引；根据经解码亮度变换跳过标志、所述至少一个色度变换跳过标志和所确定的二次变换索引来变换所述亮度变换块和所述至少一个色度变换块，以产生所述编码单元的各个变换块的残差样本；以及通过对所述编码单元的各个变换块的残差样本和所述编码单元的各个块的预测块进行组合来对所述编码单元进行解码，其中各个预测块是根据所述编码单元的预测模式生成的。

4、本发明的另一方面提供一种系统，其包括：存储器；以及

5、处理器，其中，所述处理器被配置为执行存储在所述存储器上的代码以实现从视频位流中解码来自图像帧的编码树单元的编码单元的方法，所述编码单元具有亮度颜色通道和至少一个色度颜色通道，所述方法包括：从所述视频位流中解码针对所述编码单元的亮度变换块的亮度变换跳过标志；从所述视频位流中解码至少一个色度变换跳过标志，其中各个经解码色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；确定二次变换索引，所述确定包括：在所述亮度变换跳过标志和色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用二次变换，以及在所述亮度变换跳过标志和所述色度变换跳过标志全部指示不跳过相应变换块的变换的情况下，从所述视频位流中解码所述二次变换索引；根据经解码亮度变换跳过标志、所述至少一个色度变换跳过标志和所确定的二次变换索引来变换所述亮度变换块和所述至少一个色度变换块，以产生所述编码单元的各个变换块的残差样本；以及通过对所述编码单元的各个变换块的残差样本和所述编码单元的各个块的预测块进行组合来对所述编码单元进行解码，其中各个预测块是根据所述编码单元的预测模式生成的。

6、本发明的另一方面提供一种视频解码器，其被配置为：接收来自视频位流的图像帧；确定来自所述图像帧的编码树单元的编码树的编码单元，其中所述编码单元具有亮度颜色通道和至少一个色度颜色通道；从所述视频位流中解码针对所述编码单元的亮度变换块的亮度变换跳过标志；从所述视频位流中解码至少一个色度变换跳过标志，其中各个经解码色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；确定二次变换索引，所述确定包括：在所述亮度变换跳过标志和色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用二次变换，以及在所述亮度变换跳过标志和所述色度变换跳过标志全部指示不跳过相应变换块的变换的情况下，从所述视频位流中解码所述二次变换索引；根据经解码亮度变换跳过标志、所述至少一个色度变换跳过标志和所确定的二次变换索引来变换所述亮度变换块和所述至少一个色度变换块，以产生所述编码单元的各个变换块的残差样本；以及通过对所述编码单元的各个变换块的残差样本和所述编码单元的各个块的预测块进行组合来对所述编码单元进行解码，其中各个预测块是根据所述编码单元的预测模式生成的。

7、本发明的一个方面提供一种从视频位流中解码来自图像帧的编码树单元的编码单元的方法，所述方法包括：确定所述编码单元的变换块的扫描模式，其中，所述扫描模式通过前进通过残差系数的子块的多个非重叠集合来遍历所述变换块，所述扫描模式在完成当前集合的扫描之后从所述当前集合前进到多个集合中的下一集合；根据所确定的扫描模式从所述视频位流中解码残差系数；确定针对所述编码单元的多变换选择索引，所述确定包括：在沿着所述扫描模式遇到的最后有效系数在所述变换块的阈值笛卡尔位置处或内的情况下，从所述视频位流中解码所述多变换选择索引，以及在沿着所述扫描模式的所述变换块的最后有效残差系数位置在所述阈值笛卡尔位置之外的情况下，确定所述多变换选择索引以指示不使用多变换选择；以及通过根据所述多变换选择索引应用变换来变换经解码残差系数，以对所述编码单元进行解码。

8、根据另一方面，所选择的扫描模式以后向对角线方式扫描各个子块中的残差系数。

9、根据另一方面，所选择的扫描模式以后向对角线方式扫描各个集合中的子块。

10、根据另一方面，所选择的扫描模式以后向对角线方式扫描所述集合。

11、根据另一方面，所选择的扫描模式以后向光栅方式扫描所述集合。

12、根据另一方面，所述多变换选择索引为零指示了水平地和垂直地应用dct-2逆变换。

13、根据另一方面，所述多变换选择索引大于零指示了要水平地应用dst-7逆变换和dct-8逆变换其中之一以及要垂直地应用dst-7逆变换和dct-8逆变换其中之一。

14、根据另一方面，各个集合是具有至多四个子块的宽度和高度的子块的二维阵列。

15、本发明的另一方面提供一种非暂时性计算机可读介质，其上存储有计算机程序以实现从视频位流中解码来自图像帧的编码树单元的编码单元的方法，所述方法包括：确定针对所述编码单元的变换块的扫描模式，其中，所述扫描模式通过前进通过残差系数的子块的多个非重叠集合来遍历所述变换块，所述扫描模式在完成当前集合的扫描之后从所述当前集合前进到多个集合中的下一集合；根据所确定的扫描模式从所述视频位流中解码残差系数；确定针对所述编码单元的多变换选择索引，所述确定包括：在沿着所述扫描模式遇到的最后有效系数在所述变换块的阈值笛卡尔位置处或内的情况下，从所述视频位流中解码所述多变换选择索引，以及在沿着所述扫描模式的所述变换块的最后有效残差系数位置在所述阈值笛卡尔位置之外的情况下，确定所述多变换选择索引以指示不使用多变换选择；以及通过根据所述多变换选择索引应用变换来变换经解码残差系数，以对所述编码单元进行解码。

16、本发明的另一方面提供一种系统，其包括：存储器；以及处理器，其中，所述处理器被配置为执行存储在所述存储器上的代码以实现从视频位流中解码来自图像帧的编码树单元的编码单元的方法，所述方法包括：确定针对所述编码单元的变换块的扫描模式，其中，所述扫描模式通过前进通过残差系数的子块的多个非重叠集合来遍历所述变换块，所述扫描模式在完成当前集合的扫描之后从所述当前集合前进到多个集合中的下一集合；根据所确定的扫描模式从所述视频位流中解码残差系数；确定针对所述编码单元的多变换选择索引，所述确定包括：在沿着所述扫描模式遇到的最后有效系数在所述变换块的阈值笛卡尔位置处或内的情况下，从所述视频位流中解码所述多变换选择索引，以及在沿着所述扫描模式的所述变换块的最后有效残差系数位置在所述阈值笛卡尔位置之外的情况下，确定所述多变换选择索引以指示不使用多变换选择；以及通过根据所述多变换选择索引应用变换来变换经解码残差系数，以对所述编码单元进行解码。

17、本发明的另一方面提供一种视频解码器，其被配置为：接收来自位流的图像帧；确定来自所述图像帧的编码树单元的编码树的编码单元；确定针对所述编码单元的变换块的扫描模式，其中，所述扫描模式通过前进通过残差系数的子块的多个非重叠集合来遍历所述变换块，所述扫描模式在完成当前集合的扫描之后从所述当前集合前进到多个集合中的下一集合；根据所确定的扫描模式从所述视频位流中解码残差系数；确定针对所述编码单元的多变换选择索引，所述确定包括：在沿着所述扫描模式遇到的最后有效系数在所述变换块的阈值笛卡尔位置处或内的情况下，从所述视频位流中解码所述多变换选择索引，以及在沿着所述扫描模式的所述变换块的最后有效残差系数位置在所述阈值笛卡尔位置之外的情况下，确定所述多变换选择索引以指示不使用多变换选择；以及通过根据所述多变换选择索引应用变换来变换经解码残差系数，以对所述编码单元进行解码。

18、本发明的另一方面提供一种从视频位流中解码来自图像帧的编码树单元的编码树的编码单元的方法，所述编码单元具有亮度颜色通道和至少一个色度颜色通道，所述方法包括：从所述视频位流中解码针对所述编码单元的亮度变换块的亮度变换跳过标志；从所述视频位流中解码至少一个色度变换跳过标志，其中各个经解码色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；确定二次变换索引，所述确定包括：在所述亮度变换跳过标志和所述至少一个色度变换跳过标志其中至少之一指示不跳过相应变换块的变换的情况下，从所述视频位流中解码二次变换索引，以及在所述亮度变换跳过标志和至少一个色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用所述二次变换；以及根据经解码亮度变换跳过标志、所述至少一个色度变换跳过标志和所确定的二次变换索引来变换所述亮度变换块和所述至少一个色度变换块，以对所述编码单元进行解码。

19、本发明的另一方面提供一种从视频位流中解码来自图像帧的编码树单元的编码树的编码单元的方法，所述编码单元具有至少一个色度颜色通道，所述方法包括：从所述视频位流中解码至少一个色度变换跳过标志，其中各个色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；针对所述编码单元的所述至少一个色度变换块确定二次变换索引，所述确定包括：在所述至少一个色度变换跳过标志中的任一个色度变换跳过标志指示要将变换应用于相应色度变换块的情况下，从所述视频位流中解码所述二次变换索引，以及在所述色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用二次变换；以及根据相应色度变换跳过标志和所确定的二次变换索引来变换所述至少一个色度变换块中的各个色度变换块，以对所述编码单元进行解码。

20、本发明的另一方面提供一种非暂时性计算机可读介质，其上存储有计算机程序以实现从视频位流中解码来自图像帧的编码树单元的编码树的编码单元的方法，所述编码单元具有亮度颜色通道和至少一个色度颜色通道，所述方法包括：从所述视频位流中解码针对所述编码单元的亮度变换块的亮度变换跳过标志；从所述视频位流中解码至少一个色度变换跳过标志，其中各个经解码色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；确定二次变换索引，所述确定包括：在所述亮度变换跳过标志和所述至少一个色度变换跳过标志其中至少之一指示不跳过相应变换块的变换的情况下，从所述视频位流中解码二次变换索引，以及在所述亮度变换跳过标志和至少一个色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用所述二次变换；以及根据经解码亮度变换跳过标志、所述至少一个色度变换跳过标志和所确定的二次变换索引来变换所述亮度变换块和所述至少一个色度变换块，以对所述编码单元进行解码。

21、本发明的另一方面提供一种系统，其包括：存储器；以及处理器，其中，所述处理器被配置为执行存储在所述存储器上的代码以实现从视频位流中解码来自图像帧的编码树单元的编码树的编码单元的方法，所述编码单元具有至少一个色度颜色通道，所述方法包括：从所述视频位流中解码至少一个色度变换跳过标志，其中各个色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；针对所述编码单元的至少一个色度变换块确定二次变换索引，所述确定包括：在至少一个色度变换跳过标志中的任一个指示要将变换应用于相应变换块的情况下，从所述视频位流中解码所述二次变换索引，以及在一个或多于一个色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用所述二次变换；以及根据相应色度变换跳过标志和所确定的二次变换索引来变换各个至少一个色度变换块，以对所述编码单元进行解码。

22、本发明的另一方面提供一种视频解码器，其被配置为：接收来自位流的图像帧；确定来自所述图像帧的编码树单元的编码树的编码单元，其中所述编码单元具有亮度颜色通道和至少一个色度颜色通道；从所述视频位流中解码针对所述编码单元的亮度变换块的亮度变换跳过标志；从所述视频位流中解码至少一个色度变换跳过标志，其中各个经解码色度变换跳过标志与所述编码单元的至少一个色度变换块其中之一相对应；确定二次变换索引，所述确定包括：在所述亮度变换跳过标志和所述至少一个色度变换跳过标志其中至少之一指示不跳过相应变换块的变换的情况下，从所述视频位流中解码所述二次变换索引，以及在所述亮度变换跳过标志和所述至少一个色度变换跳过标志全部指示要跳过相应变换块的变换的情况下，确定所述二次变换索引以指示不应用二次变换；以及根据经解码亮度变换跳过标志、所述至少一个色度变换跳过标志和所确定的二次变换索引来变换所述亮度变换块和所述至少一个色度变换块，以对所述编码单元进行解码。

23、还公开了其他方面。