视频编码和解码的方法、装置及存储介质与流程

本公开描述了总体上涉及视频编码的实施例。

背景技术：

1、这里提供的背景描述是为了总体呈现本公开的上下文。在该背景技术部分中所描述的工作的程度上，目前署名的发明人的工作以及在申请时可能不符合现有技术的描述的方面，既不明确也不暗示地承认为本公开的现有技术。

2、可以使用具有运动补偿的帧间图片预测来执行视频编码和解码。未压缩的视频可以包括一系列图片，每个图片具有例如1920×1080亮度样本和相关色度样本的空间维度。该系列图片可以具有固定或可变的图像速率(非正式地也称为帧速率)，例如，每秒60幅图片或60hz。未压缩的视频有特定的比特率要求。例如，每样本8比特的1080p60 4:2:0视频(60hz帧速率的1920x1080亮度样本分辨率)需要接近1.5gbit/s的带宽。一小时这样的视频需要超过600g字节的存储空间。

3、视频编码和解码的一个目的是通过压缩来减少输入视频信号中的冗余。压缩有助于降低上述带宽和/或存储空间需求，在某些情况下可降低两个数量级或更多。可以采用无损压缩和有损压缩及其组合。无损压缩是指可以从压缩的原始信号中重构出原始信号的精确副本的技术。当使用有损压缩时，重构信号可能与原始信号不相同，但是原始信号和重构信号之间的失真足够小，使得重构信号对预期应用有用。对于视频来说，广泛采用的是有损压缩。被容许的失真量取决于应用；例如，某些消费者流应用的用户可能比电视分发应用的用户容忍更高的失真。可实现的压缩比可以反映出：更高的容许/可容忍失真可以产生更高的压缩比。

4、视频编码器和解码器可以利用几大类技术，包括例如运动补偿、变换、量化和熵编码。

5、视频编解码器技术可以包括称为帧内编码的技术。在帧内编码中，样本值是在不参考来自先前重构的参考图片的样本或其他数据的情况下表示的。在某些视频编解码器中，图片在空间上被细分为样本块。当所有样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生图片(例如，独立的解码器刷新图片)可以用于重置解码器状态，因此可以用作编码视频比特流和视频会话中的第一图片，或者用作静止图像。帧内块的样本可以被变换，并且在熵编码之前可以对变换系数进行量化。帧内预测可以是一种在预变换域中最小化样本值的技术。在一些情况下，变换后的dc值越小，ac系数越小，在给定量化步长下表示熵编码后的块所需的比特就越少。

6、例如，从mpeg-2代编码技术中已知的传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括例如尝试从相邻的空间中且在解码顺序上在前的数据块的编码和/或解码期间获得的周围样本数据和/或元数据的技术。这种技术此后被称为“帧内预测”技术。注意，至少在一些情况下，帧内预测所使用的参考数据仅来自重构中的当前图片，而不是来自参考图片。

7、可以有许多不同形式的帧内预测。当在给定的视频编码技术中可以使用多于一种这样的技术时，所使用的技术可以在帧内预测模式中被编码。在某些情况下，模式可以有子模式和/或参数，这些子模式和/或参数可以被单独编码或包含在模式码字中。对于给定的模式、子模式和/或参数组合，使用哪个码字会对通过帧内预测的编码效率增益产生影响，因此，对于将码字转换成比特流的熵编码技术也会产生影响。

8、h.264引入了特定的帧内预测模式，在h.265中进行了改进，并在更新的编码技术中进一步改进，例如，共同探索模型(joint exploration model，简称jem)、通用视频编码(versatile video coding，简称vvc)和基准集(benchmark set，简称bms)。使用属于已经是可用样本的相邻样本值来形成预测块。根据方向将相邻样本的样本值复制到预测块中。对使用中的方向的参考可以被编码进比特流中，或者可以被其本身预测出。

9、参考图1a，右下方描绘了从h.265的33个可能的预测方向(对应于35个帧内模式的33个角度模式)中已知的9个预测方向的子集。箭头会聚的点(101)表示被预测的样本。箭头表示的是来自哪个被预测的样本的方向。例如，箭头(102)指示样本(101)是从与水平线成45°角的右上方的一个或多个样本预测到的。类似地，箭头(103)指示样本(101)是从与水平线成22.5°角的样本(101)左下方的一个或多个样本预测到的。

10、仍然参考图1a，在左上方描绘了4×4样本的正方形块(104)(由粗虚线表示)。正方形块(104)包括16个样本，每个样本标有“s”，其在y维度上的位置(例如，行索引)和其在x维度上的位置(例如，列索引)。例如，样本s21是y维度中的第二个样本(从顶部算起)和x维度中的第一个样本(从左侧算起)。类似地，样本s44在y和x维度上都是块(104)中的第四个样本。由于该块的大小为4×4个样本，所以s44位于右下角。还示出了遵循类似编号方案的参考样本。用r标记的参考样本、其相对于块的y位置(例如，行索引)和x位置(列索引)来标记(104)。在h.264和h.265中，预测样本与重构中的块相邻；因此，不需要使用负值。

11、帧内图片预测可以通过从合适的信号预测方向的相邻样本中复制参考样本值来工作。例如，假设已编码的视频比特流包含针对此块的信号，其指示与箭头(102)一致的预测方向——即，从与水平成45°角的右上方的一个或多个预测样本来预测出的样本。在这种情况下，从相同的参考样本r05预测样本s41、s32、s23和s14。然后从参考样本r08预测样本s44。

12、在某些情况下，多个参考样本的值可以组合，例如，通过插值，以便计算参考样本；尤其是当方向不能被45°整除时。

13、随着视频编码技术的发展，可能的方向的数量已经增加。在h.264(2003年)中，可以表示九个不同方向。这在h.265(2013年)中增加到33个，而jem/vvc/bms在披露时可以支持多达65个方向。已经通过实验来识别最可能的方向，并且熵编码中的某些技术用于以少量比特来表示那些可能的方向，对于不太可能的方向接受一定的惩罚。此外，方向本身有时可以从相邻的已经解码的块中使用的相邻方向来预测。

14、图1b示出了示意图(180)，描绘了根据jem的65个帧内预测方向，以说明预测方向的数量随着时间的推移而增加。

15、编码视频比特流中帧内预测方向比特的映射所代表的方向可以根据视频编码技术的不同而不同；例如从预测方向到帧内预测模式的简单直接映射，其范围可以覆盖到码字，到涉及最可能模式的复杂自适应方案，以及类似的技术。然而，在所有情况下，与某些其他方向相比，某些方向在统计上不太可能出现在视频内容中。由于视频压缩的目标是减少冗余，在较好的视频编码技术中，那些不太可能的方向将由更多的比特来表示，相对那更可能的方向。

16、运动补偿可以是有损压缩技术，并且可以涉及这样的技术，其中，来自先前重构的图片或其一部分(参考图片)的样本数据块在由运动矢量(此后称为mv)指示的方向上进行空间移位之后，可以用于预测新重构的图片或图片部分。在某些情况下，参考图片可以与当前正在重构的图片相同。mv可以具有两个维度x和y，或者三个维度，第三个维度是使用中的参考图片的指示(参考图片间接可以是时间维度)。

17、在一些视频压缩技术中，可应用于样本数据的某个区域的mv可以从其他mv中预测，例如，从与空间上邻近正在重构的区域的并且在解码顺序上在该mv之前的样本数据的另一个区域相关的mv中预测。这样做可以大大减少编码mv所需的数据量，从而消除冗余并提高压缩率。mv预测可以有效地工作，例如，因为当对从相机导出的输入视频信号(称为自然视频)进行编码时，存在统计可能性，即比单个mv可应用的区域大的区域在相似的方向上移动，因此，在某些情况下，可以使用从相邻区域的mv导出的相似运动矢量来预测。这使得给定区域发现的mv与从周围mv预测出的mv相似或相同，并且在熵编码之后，这又可以用比直接编码mv时所使用的更少的比特数来表示。在某些情况下，mv预测可以是从原始信号(即：样本流)导出的信号(即：mv)的无损压缩的示例。在其他情况下，mv预测本身可能是有损耗的，例如，当从几个周围的mv计算预测值时，会出现舍入误差。

18、在h.265/hevc(itu-t rec.h.265，“high efficiency video coding”，2016年12月)中描述各种mv预测机制。在h.265提供的许多mv预测机制中，此处描述了一种此后被称为“空间合并”的技术。

19、参考图2，当前块(201)包括由编码器在运动搜索过程中发现的样本，以便从已经被空间移位的相同大小的先前块中预测。并非直接编码该mv，可以使用与五个周围样本(表示为a0、a1和b0、b1、b2(分别为202至206))中的任一个相关联的mv，从与一个或多个参考图片相关联的元数据中导出该mv，例如，从最近的(按照解码顺序)参考图片中导出。在h.265中，mv预测可以使用来自相邻块正在使用的相同参考图片的预测器。

技术实现思路

1、本公开的各方面提供了视频编码和解码的方法、装置及存储介质。在一些示例中，用于视频解码的装置包括处理电路。例如，处理电路确定用于对比特流中第一组的编码视频数据进行编码控制的第一语法元素。第一语法元素与基于切片的rice编码的编码工具相关联，用于在变换跳过模式下的残差编码。在一些示例中，编码工具提供用于在变换跳过模式下的残差编码的切片级的rice参数。响应于第一语法元素是指示在第一组中禁用编码工具的第一值，处理电路在不调用编码工具的情况下解码包括一个或多个第二组的编码视频数据的第一组的编码视频数据。

2、在一些实施例中，第一语法元素通常是用于输出层集中的图片的编码控制的约束信息。在一些示例中，第一语法元素的第一值指示禁用输出层集的每个编码层视频序列clvs中的编码工具。

3、在一些实施例中，响应于第一语法元素为第一值，处理电路将比特流中的编码层视频序列clvs用于的编码控制的第二语法元素，约束为具有指示不调用用于解码clvs的编码工具的值。在一些示例中，第二语法元素的值指示在clvs的图片中的切片的切片报头中，不存在与编码工具相关联的切片报头标志。

4、在一些实施例中，响应于第一语法元素是第二值并且在编码层视频序列clvs中启用变换跳过模式，处理电路对clvs所参考的序列参数集sps中的第二语法元素的值进行解码。第二语法元素指示呈现/不呈现指示rice参数的选择的切片级语法元素。响应于第二语法元素的值指示呈现切片级语法元素，在一个示例中，处理电路从切片的切片报头解码第三语法元素，第三语法元素指示在变换跳过模式下对切片的残余编码的rice参数的选择。

5、在一些实施例中，响应于在clvs的sps中不呈现第二语法元素，处理电路推断第二语法元素的值，指示在clvs中不使用编码工具。

6、在一些示例中，响应于语法结构中的语法元素指示用于在语法结构中通用约束信息的额外比特，处理电路从通用约束信息的语法结构中解码第一语法元素。

7、本公开的各方面还提供了一种解码器中的视频解码的方法，包括：确定用于对比特流中第一范围的编码视频数据进行编码控制的第一语法元素，上述第一语法元素与基于切片的rice编码的编码工具相关联，用于在变换跳过模式下的残差编码，其中，上述编码工具提供用于在上述变换跳过模式下的残差编码的切片级的rice参数；以及，响应于上述第一语法元素是指示在上述第一范围中禁用上述编码工具的第一值，由上述处理器在不调用上述编码工具的情况下解码包括一个或多个第二范围的编码视频数据的上述第一范围的编码视频数据。

8、本公开的各方面还提供了一种编码器中的视频编码的方法，包括：确定在编码比特流中的第一范围的编码视频数据的过程中，是否使用了用于变换跳过模式中的残差编码的基于切片的rice编码的编码工具；对具有第一值的第一语法元素进行编码，其中，上述第一语法元素用于对上述第一范围的编码视频数据的上述编码工具的编码控制，上述第一值指示上述第一范围的编码视频数据的编码中禁用上述编码工具；对具有第二值的上述第一语法元素进行编码，其中，上述第二值指示上述第一范围的编码视频数据的编码中使用上述编码工具。

9、本公开的各方面还提供了一种用于视频编码的装置，包括处理电路，该处理电路被配置为执行上述视频编码的方法。

10、本公开的各方面还提供了一种存储指令的非暂时性计算机可读介质，当由用于视频解码的计算机执行上述指令时，使得计算机执行用于视频解码的方法；当由用于视频编码的计算机执行上述指令时，使得计算机执行用于视频编码的方法。