应用自适应环路滤波器的视频或图像编码的制作方法

1.本公开涉及应用自适应环路滤波器的视频或图像编码。


背景技术：

2.最近，在各种领域中对诸如4k或8k或更高的超高清(uhd)图像/视频的高分辨率、高质量图像/视频的需求已增加。随着图像/视频数据具有高分辨率和高质量，要发送的信息量或比特量相对于现有图像/视频数据增加，因此，使用诸如现有有线/无线宽带线路或现有存储介质的介质发送图像数据或者使用现有存储介质存储图像/视频数据增加了传输成本和存储成本。
3.另外，对诸如虚拟现实(vr)和人工现实(ar)内容或全息图的沉浸式媒体的兴趣和需求最近已增加，并且具有与现实图像不同的特性的图像/视频(例如，游戏图像)的广播已增加。
4.因此，需要非常高效的图像/视频压缩技术来有效地压缩、发送、存储和再现具有如上所述的各种特性的高分辨率、高质量图像/视频的信息。
5.另外，讨论了使用自适应环路滤波(alf)来改进压缩效率并增加主观/客观视觉质量的滤波技术。为了高效地应用这些技术，需要一种高效地用信号通知相关信息的方法。


技术实现要素：

6.技术方案
7.根据本公开的实施方式，提供了一种由解码设备执行的图像解码方法。该方法包括以下步骤：从比特流获得包括自适应环路滤波器(alf)信息和残差信息的图像信息；基于残差信息来生成当前块的重构样本；基于alf信息来推导alf的滤波器系数；以及基于重构样本和滤波器系数来生成当前块的修改的重构样本，其中，alf信息包括用于当前块的色度分量的替代滤波器信息，并且基于替代滤波器信息来生成当前块的色度分量的滤波器系数。
8.根据本公开的另一实施方式，提供了一种由编码设备执行的视频编码方法。该方法包括以下步骤：推导当前画面中的当前块的预测样本；基于预测样本来推导当前块的残差样本；基于残差样本来生成残差信息和重构样本；推导重构样本的自适应环路滤波器(alf)的滤波器系数；基于滤波器系数来生成alf信息；以及对包括alf信息和残差信息的图像信息进行编码，其中，alf信息包括用于当前块的色度分量的替代滤波器信息，并且替代滤波器信息指示用于推导当前块的色度分量的修改的重构样本的替代滤波器。
9.根据本公开的另一实施方式，提供了一种计算机可读数字存储介质，其中存储有包括使得解码设备执行图像解码方法的图像信息的比特流。该图像解码方法包括以下步骤：从比特流获得包括自适应环路滤波器(alf)信息和残差信息的图像信息；基于残差信息来生成当前块的重构样本；基于alf信息来推导alf的滤波器系数；以及基于重构样本和滤波器系数来生成当前块的修改的重构样本，其中，alf信息包括关于当前块的色度分量的替
代滤波器信息，并且基于替代滤波器信息来生成当前块的色度分量的滤波器系数。
10.有益效果
11.根据本公开的实施方式，总体图像/视频压缩效率可增加。
12.根据本公开的实施方式，通过高效滤波，主观/客观视觉质量可增加。
13.根据本公开的实施方式，可高效地用信号通知alf相关信息。
附图说明
14.图1示意性地示出可应用本公开的实施方式的视频/图像编码系统的示例。
15.图2是示意性地示出可应用本公开的实施方式的视频/图像编码设备的配置的图。
16.图3是示意性地示出可应用本公开的实施方式的视频/图像解码设备的配置的图。
17.图4示出上下文自适应算术编码(cabac)的框图。
18.图5示出编码设备的熵编码器。
19.图6示出解码设备的熵解码器。
20.图7示例性地示出用于编码图像/视频的分层结构。
21.图8是示意性地示出alf处理的示例的流程图。
22.图9示出alf滤波器的形状的示例。
23.图10示出alf数据的分层结构的示例。
24.图11示出alf数据的分层结构的另一示例。
25.图12示出与位置相关滤波器系数对应的固定顺序。
26.图13和图14示意性地示出根据本公开的实施方式的视频/图像编码方法和相关组件的示例。
27.图15和图16示意性地示出根据本公开的实施方式的图像/视频解码方法和相关组件的示例。
28.图17示出可应用本公开中所公开的实施方式的内容流系统的示例。
具体实施方式
29.尽管本公开可具有各种修改和配置，但某些实施方式已示出于附图中并在本文中详细说明。然而，这不应被解释为将本公开限于任何特定实施方式。本文所使用的术语是为了描述特定实施方式而呈现的，并非旨在限制本公开的技术思想。除非另外指明，否则单数形式的术语可包括复数形式。将理解，术语“包括”或“具有”在用在本文中时指定存在所述特征、整数、步骤、操作、元件、组件或其组合，但不排除一个或更多个其它特征、整数、步骤、操作、元件、组件或其组合的存在或添加。
30.本公开中描述的附图中的各个组件为了方便描述不同的特性功能而独立地示出，并非意指组件实现于单独的硬件或单独的软件中。例如，两个或更多个配置可被组合以形成一个配置，或者一个配置可被分成多个配置。在不脱离本公开的精神的情况下，各个配置被集成和/或分离的实施方式也包括在本公开的范围内。
31.在本说明书中，“a或b”可意指“仅a”、“仅b”或“a和b二者”。换言之，在本说明书中，“a或b”可被解释为“a和/或b”。例如，在本说明书中，“a、b或c”可意指“仅a”、“仅b”、“仅c”或“a、b、c的任何组合”。
32.本说明书中所使用的斜杠(/)或逗号可意指“和/或”。例如，“a/b”可意指“a和/或b”。因此，“a/b”可意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可意指“a、b或c”。
33.在本说明书中，“a和b中的至少一个”可意指“仅a”、“仅b”或“a和b二者”。另外，在本说明书中，表达“a或b中的至少一个”或“a和/或b中的至少一个”可被解释为“a和b中的至少一个”。
34.另外，在本说明书中，“a、b和c中的至少一个”可意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。另外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可意指“a、b和c中的至少一个”。
35.另外，本说明书中所使用的括号可意指“例如”。具体地，当指示为“预测(帧内预测)”时，可意指“帧内预测”被提出作为“预测”的示例。换言之，本说明书的“预测”不限于“帧内预测”，“帧内预测”可被提出作为“预测”的示例。另外，当指示为“预测(即，帧内预测)”时，也可意指“帧内预测”被提出作为“预测”的示例。
36.在本说明书中的一幅图中单独描述的技术特征可单独地实现，或者可同时实现。
37.以下，将参照附图更详细地描述本公开的优选实施方式。以下，在附图中相同的标号用于相同的组件，并且可省略相同组件的重复描述。
38.图1示意性地示出可应用本公开的视频/图像编码系统的示例。
39.参照图1，视频/图像编码系统可包括第一装置(源装置)和第二装置(接收装置)。源装置可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式发送到接收装置。
40.源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。
41.视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
42.编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
43.发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送到接收装置的接收器。数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并将所接收的比特流发送到解码设备。
44.解码设备可通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程将视频/图像解码。
45.渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
46.本公开涉及视频/图像编码。例如，本文献中公开的方法/实施方式可应用于通用视频编码(vvc)标准、基本视频编码(evc)标准、aomedia video 1(av1)标准、第2代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267、h.268等)中公开的方法。
47.本文献提出了视频/图像编码的各种实施方式，并且除非另外指明，否则上述实施方式也可彼此组合执行。
48.在本文献中，视频可指随时间的一系列图像。画面通常是指表示特定时间范围的一个图像的单元，切片/拼块是指就编码而言构成画面的一部分的单元。切片/拼块可包括一个或更多个编码树单元(ctu)。一个画面可由一个或更多个切片/拼块组成。
49.拼块是画面中的特定拼块列和特定拼块行内的ctu的矩形区域。拼块列是高度等于画面的高度并且宽度由画面参数集中的句法元素指定的ctu的矩形区域。拼块行是高度由画面参数集中的句法元素指定并且宽度等于画面的宽度的ctu的矩形区域。拼块扫描是分割画面的ctu的特定顺序排序，其中在拼块的ctu光栅扫描中ctu连续地排序，而在画面的拼块的光栅扫描中画面中的拼块连续地排序。切片可包括画面的多个完整拼块或一个拼块中的多个连续ctu行，其可包括在一个nal单元中。在本文献中，拼块组和切片可互换使用。例如，在本文献中，拼块组/拼块组头可被称为切片/切片头。
50.此外，一个画面可被划分成两个或更多个子画面。子画面可以是画面内的一个或更多个切片的矩形区域。
51.像素或画素可意指构成一个画面(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
52.单元可表示图像处理的基本单位。单元可包括画面的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可包括m列和n行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地，样本可意指空间域中的像素值，并且当这种像素值被变换至频域时，其可意指频域中的变换系数。
53.图2是示意性地示出可应用本公开的视频/图像编码设备的配置的图。以下，视频编码设备可包括图像编码设备。
54.参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码画面缓冲器(dpb)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
55.图像分割器210可将输入到编码设备200的输入图像(或者画面或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(cu)。在这种情况下，编码单元可根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单元(lcu)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个
编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
56.在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或画素的一个画面(或图像)对应的术语。
57.在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码设备200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可被称为减法器231。预测器可对要处理的块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可确定基于当前块或cu应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可生成与预测有关的各种信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形式输出。
58.帧内预测器222可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
59.帧间预测器221可基于参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考画面可被称为并置画面(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考画面索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(mvp)模式的情况下，邻近块的运动向量可用作运动向量预测器，并且
可通过用信号通知运动向量差来指示当前块的运动向量。
60.预测器220可基于下面描述的各种预测方法来生成预测信号。例如，预测器可不仅应用帧内预测或帧间预测以预测一个块，而且同时应用帧内预测和帧间预测二者。这可被称为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(scc)。ibc基本上在当前画面中执行预测，但是可与帧间预测相似地执行，使得在当前画面中推导参考块。即，ibc可使用本公开中描述的至少一个帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
61.由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生成重构信号或生成残差信号。变换器232可通过对残差信号应用变换技术来生成变换系数。例如，变换技术可包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-lo
è
ve变换(klt)、基于图形的变换(gbt)或条件非线性变换(cnt)中的至少一个。这里，当像素之间的关系信息由图形表示时，gbt意指从图形获得的变换。cnt是指基于使用所有先前重构的像素生成的预测信号生成的变换。另外，变换处理可应用于具有相同大小的正方形像素块或者可应用于正方形以外的具有可变大小的块。
62.量化器233可将变换系数量化并将它们发送到熵编码器240，并且熵编码器240可对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可被称为残差信息。量化器233可基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式，并且基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。可生成关于变换系数的信息。熵编码器240可执行例如指数golomb、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等的各种编码方法。熵编码器240可对量化的变换系数以外的视频/图像重构所需的信息(例如，句法元素的值等)一起或单独地进行编码。编码的信息(例如，编码的视频/图像信息)可按比特流的形式以nal(网络抽象层)为单位发送或存储。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(aps)、画面参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。在本公开中，从编码设备发送/用信号通知给解码设备的信息和/或句法元素可被包括在视频/画面信息中。视频/图像信息可通过上述编码过程编码并被包括在比特流中。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可被包括作为编码设备200的内部/外部元件，并且另选地，发送器可被包括在熵编码器240中。
63.从量化器233输出的量化的变换系数可用于生成预测信号。例如，可通过经由解量化器234和逆变换器235对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块不存在残差(例如，应用跳过模式的情况)，则预测块可用作重构块。加法器250可被称为重构器或重构块生成器。如下所述，所生成的重构信号可用于当前画面中要处理的下一块的帧内预测并
且可通过滤波用于下一画面的帧间预测。
64.此外，可在画面编码和/或重构期间应用与色度缩放的亮度映射(lmcs)。
65.滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可通过对重构画面应用各种滤波方法来生成修改的重构画面并将修改的重构画面存储在存储器270(具体地，存储器270的dpb)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生成与滤波有关的各种信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可由熵编码器240编码并以比特流的形式输出。
66.发送到存储器270的修改的重构画面可用作帧间预测器221中的参考画面。当通过编码设备应用帧间预测时，可避免编码设备200与解码设备300之间的预测失配并且编码效率可改进。
67.存储器270的dpb可存储用作帧间预测器221中的参考画面的修改的重构画面。存储器270可存储推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前画面中的重构块的重构样本并且可将重构样本传送至帧内预测器222。
68.在本公开中，可省略量化/解量化和/或变换/逆变换中的至少一个。当省略量化/解量化时，量化的变换系数可被称为变换系数。当省略变换/逆变换时，变换系数可被称为系数或残差系数，或者为了表达的一致性，仍可被称为变换系数。
69.此外，在本公开中，量化的变换系数和变换系数可分别被称为变换系数和缩放的变换系数。在这种情况下，残差信息可包括关于变换系数的信息，并且关于变换系数的信息可通过残差编码句法用信号通知。可基于残差信息(或关于变换系数的信息)来推导变换系数，并且可通过变换系数的逆变换(缩放)来推导缩放的变换系数。可基于缩放的变换系数的逆变换(变换)来推导残差样本。这些细节也可在本公开的其它部分中应用/表达。
70.图3是示意性地示出可应用本公开的视频/图像解码设备的配置的图。
71.参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350、存储器360。预测器330可包括帧内预测器331和帧间预测器332。残差处理器320可包括解量化器321和逆变换器321。根据实施方式，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码画面缓冲器(dpb)或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。
72.当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编码单元，并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构的图像信号可通过再现设备再现。
73.解码设备300可接收从图2的编码设备以比特流的形式输出的信号，并且所接收的信号可通过熵解码器310解码。例如，熵解码器310可解析比特流以推导图像重构(或画面重
构)所需的信息(例如，视频/图像信息)。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(aps)、画面参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。解码设备还可基于关于参数集的信息和/或一般约束信息将画面解码。本公开中稍后描述的用信号通知/接收的信息和/或句法元素可通过解码过程解码并从比特流获得。例如，熵解码器310基于诸如指数golomb编码、cavlc或cabac的编码方法对比特流中的信息进行解码，并且输出图像重构所需的句法元素和残差的变换系数的量化值。更具体地，cabac熵解码方法可接收与比特流中的各个句法元素对应的信元(bin)，使用解码目标句法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的信息来确定上下文模型，并且通过根据所确定的上下文模型预测信元出现的概率对信元执行算术解码，并且生成与各个句法元素的值对应的符号。在这种情况下，cabac熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测有关的信息可被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中执行了熵解码的残差值(即，量化的变换系数和相关参数信息)可被输入到残差处理器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另外，熵解码器310所解码的信息当中关于滤波的信息可被提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可被称为视频/图像/画面解码设备，并且解码设备可被分类为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可包括熵解码器310，并且样本解码器可包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
74.解量化器321可将量化的变换系数解量化并输出变换系数。解量化器321可按二维块形式重排量化的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并且获得变换系数。
75.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
76.预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
77.预测器330可基于下述各种预测方法来生成预测信号。例如，预测器不仅可应用帧内预测或帧间预测以预测一个块，而且可同时应用帧内预测和帧间预测。这可被称为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(scc)。ibc基本上执行当前画面中的预测，但是可与帧间预测相似地执行，使得在当前画面中推导参考块。即，ibc可使用本公开中描述的至少一种帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
78.帧内预测器331可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多
个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
79.帧间预测器332可基于参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。例如，帧间预测器332可基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考画面索引。可基于各种预测模式来执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
80.加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块不存在残差，例如当应用跳过模式时，预测块可用作重构块。
81.加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前画面中要处理的下一块的帧内预测，可如下所述通过滤波输出，或者可用于下一画面的帧间预测。
82.此外，可在画面解码处理中应用与色度缩放的亮度映射(lmcs)。
83.滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可通过对重构画面应用各种滤波方法来生成修改的重构画面并且将修改的重构画面存储在存储器360(具体地，存储器360的dpb)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
84.存储在存储器360的dpb中的(修改的)重构画面可用作帧间预测器332中的参考画面。存储器360可存储推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前画面中的重构块的重构样本并将重构样本传送至帧内预测器331。
85.在本文献中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。
86.如上所述，在视频编码中，执行预测以增加压缩效率。由此，可生成包括当前块(要编码的块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块从编码装置和解码装置相同地推导，并且编码装置对关于原始块与预测块之间的残差的信息(残差信息)而非原始块的原始样本值本身进行解码。通过用信号通知装置，图像编码效率可增加。解码设备可基于残差信息来推导包括残差样本的残差块，并且通过对残差块和预测块求和来生成包括重构样本的重构块，并且生成包括重构块的重构画面。
87.残差信息可通过变换处理和量化处理来生成。例如，编码设备可推导原始块与预测块之间的残差块，并且对包括在残差块中的残差样本(残差样本阵列)执行变换处理以推
导变换系数，然后，通过对变换系数执行量化处理，推导量化的变换系数，以将残差相关信息(经由比特流)用信号通知给解码设备。这里，残差信息可包括位置信息、变换技术、变换核和量化参数、量化的变换系数的值信息等。解码设备可基于残差信息来执行解量化/逆变换处理并推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构画面。编码设备还可对供稍后画面的帧间预测参考的量化的变换系数进行解量化/逆变换以推导残差块，并且基于其来生成重构画面。
88.在本文献中，量化/解量化和/或变换/逆变换中的至少一个可被省略。当量化/解量化被省略时，量化的变换系数可被称为变换系数。当变换/逆变换被省略时，变换系数可被称为系数或残差系数，或者为了表达的一致性，仍可称为变换系数。
89.在本文献中，量化的变换系数和变换系数可分别被称为变换系数和缩放的变换系数。在这种情况下，残差信息可包括关于变换系数的信息，并且关于变换系数的信息可通过残差编码句法用信号通知。变换系数可基于残差信息(或关于变换系数的信息)来推导，缩放的变换系数可通过对变换系数的逆变换(缩放)来推导。残差样本可基于缩放的变换系数的逆变换(变换)来推导。这也可在本文献的其它部分中应用/表达。
90.帧内预测可指基于当前块所属的画面(以下，称为当前画面)中的参考样本来生成当前块的预测样本的预测。当对当前块应用帧内预测时，可推导要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可包括与大小为nw
×
nh的当前块的左边界相邻的样本和邻近左下的总共2
×
nh个样本、与当前块的上边界相邻的样本和邻近右上的总共2
×
nw个样本以及邻近当前块的左上的一个样本。另选地，当前块的邻近参考样本可包括多个上邻近样本和多个左邻近样本。另外，当前块的邻近参考样本可包括与大小为nw
×
nh的当前块的右边界相邻的总共nh个样本、与当前块的下边界相邻的总共nw个样本以及邻近当前块的右下的一个样本。
91.然而，当前块的一些邻近参考样本可能还未解码或可用。在这种情况下，解码器可通过利用可用样本替换不可用的样本来配置要用于预测的邻近参考样本。另选地，要用于预测的邻近参考样本可通过可用样本的插值来配置。
92.当推导邻近参考样本时，(i)可基于当前块的邻近参考样本的平均或插值来推导预测样本，并且(ii)可基于当前块的外围参考样本当中存在于预测样本的特定(预测)方向上的参考样本来推导预测样本。(i)的情况可被称为非定向模式或非角模式，(ii)的情况可被称为定向模式或角模式。
93.此外，预测样本也可通过邻近参考样本当中基于当前块的预测样本位于与当前块的帧内预测模式的预测方向相反的方向上的第二邻近样本与第一邻近样本之间的插值来生成。上述情况可被称为线性插值帧内预测(lip)。另外，可使用线性模型基于亮度样本来生成色度预测样本。这种情况可被称为lm模式。
94.另外，可基于滤波的邻近参考样本来推导当前块的暂时预测样本，并且现有邻近参考样本当中根据帧内预测模式推导的至少一个参考样本(即，未滤波的邻近参考样本)和暂时预测样本可加权求和以推导当前块的预测样本。上述情况可被称为位置相关帧内预测(pdpc)。
95.另外，可选择当前块的邻近多参考样本行中预测准确性最高的参考样本行，以使用对应行上位于预测方向上的参考样本来推导预测样本，然后本文所使用的参考样本行可
被指示(用信号通知)给解码设备，从而执行帧内预测编码。上述情况可被称为多参考行(mrl)帧内预测或基于mrl的帧内预测。
96.另外，可基于相同的帧内预测模式通过将当前块划分为垂直或水平子分区来执行帧内预测，并且邻近参考样本可以子分区为单位推导并使用。即，在这种情况下，当前块的帧内预测模式同样适用于子分区，并且在一些情况下通过以子分区为单位推导并使用邻近参考样本，帧内预测性能可改进。这种预测方法可被称为子分区内(isp)或基于isp的帧内预测。
97.上述帧内预测方法可与帧内预测模式分开称为帧内预测类型。帧内预测类型可用诸如帧内预测技术或附加帧内预测模式的各种术语来称呼。例如，帧内预测类型(或附加帧内预测模式)可包括上述lip、pdpc、mrl和isp中的至少一个。除了诸如lip、pdpc、mrl或isp的特定帧内预测类型之外的一般帧内预测方法可被称为正常帧内预测类型。正常帧内预测类型通常可在不应用特定帧内预测类型时应用，并且可基于上述帧内预测模式来执行预测。此外，可根据需要对推导的预测样本执行后滤波。
98.具体地，帧内预测过程可包括帧内预测模式/类型确定步骤、邻近参考样本推导步骤和基于帧内预测模式/类型的预测样本推导步骤。另外，可根据需要对推导的预测样本执行后滤波步骤。
99.当应用帧内预测时，应用于当前块的帧内预测模式可使用邻近块的帧内预测模式来确定。例如，解码设备可基于所接收的最可能模式(mpm)索引来选择基于当前块的邻近块(例如，左和/或上邻近块)的帧内预测模式推导的mpm列表的mpm候选之一，并且基于剩余帧内预测模式信息来选择未包括在mpm候选(和平面模式)中的其它剩余帧内预测模式之一。mpm列表可被配置为包括或不包括平面模式作为候选。例如，如果mpm列表包括平面模式作为候选，则mpm列表可具有六个候选。如果mpm列表不包括平面模式作为候选，则mpm列表可具有三个候选。当mpm列表不包括平面模式作为候选时，可用信号通知指示当前块的帧内预测模式是否不是平面模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，可首先用信号通知mpm标志，当mpm标志的值为1时，可用信号通知mpm索引和非平面标志。另外，当非平面标志的值为1时，可用信号通知mpm索引。这里，mpm列表被配置为不包括平面模式作为候选，不首先用信号通知非平面标志以首先检查它是否为平面模式，因为平面模式始终被视为mpm。
100.例如，应用于当前块的帧内预测模式是在mpm候选(和平面模式)中还是在剩余模式中可基于mpm标志(例如，intra_luma_mpm_flag)来指示。mpm标志的值1可指示当前块的帧内预测模式在mpm候选(和平面模式)内，mpm标志的值0可指示当前块的帧内预测模式不在mpm候选(和平面模式)中。非平面标志(例如，intra_luma_not_planar_flag)的值0可指示当前块的帧内预测模式是平面模式，非平面标志值的值1可指示当前块的帧内预测模式不是平面模式。mpm索引可按照mpm_idx或intra_luma_mpm_idx句法元素的形式用信号通知，剩余帧内预测模式信息可按照rem_intra_luma_pred_mode或intra_luma_mpm_remainder句法元素的形式用信号通知。例如，剩余帧内预测模式信息可按照预测模式编号的顺序对所有帧内预测模式当中未包括在mpm候选(和平面模式)中的剩余帧内预测模式进行索引以指示它们中的一个。帧内预测模式可以是亮度分量(样本)的帧内预测模式。以下，帧内预测模式信息可包括mpm标志(例如，intra_luma_mpm_flag)、非平面标志(例如，
intra_luma_not_planar_flag)、mpm索引(例如，mpm_idx或intra_luma_mpm_idx)和剩余帧内预测模式信息(rem_intra_luma_pred_mode或intra_luma_mpm_remainder)中的至少一个。在本文献中，mpm列表可被称为诸如mpm候选列表和candmodelist的各种术语。当对当前块应用mip时，可用信号通知用于mip的单独mpm标志(例如，intra_mip_mpm_flag)、mpm索引(例如，intra_mip_mpm_idx)和剩余帧内预测模式信息(例如，intra_mip_mpm_remainder)，并且不用信号通知非平面标志。
101.换言之，通常，当对图像执行块拆分时，要编码的当前块和邻近块具有相似的图像特性。因此，当前块和邻近块具有相同或相似的帧内预测模式的概率较高。因此，编码器可使用邻近块的帧内预测模式来对当前块的帧内预测模式进行编码。
102.例如，编码器/解码器可为当前块配置最可能模式(mpm)的列表。mpm列表
103.也可被称为mpm候选列表。本文中，mpm可指在帧内预测模式编码中考虑当前块
104.和邻近块之间的相似性来改进编码效率的模式。如上所述，mpm列表可被配置为包
105.括平面模式，或者可被配置为不包括平面模式。例如，当mpm列表包括平面模式时，mpm列表中的候选数量可为6。并且，如果mpm列表不包括平面模式，则mpm列表中的候选数量可为5。
106.编码器/解码器可配置包括5或6个mpm的mpm列表。
107.为了配置mpm列表，可考虑三种类型的模式：默认帧内模式、邻居帧内模式和推导帧内模式。
108.对于邻近帧内模式，可考虑两个邻近块，即，左邻近块和上邻近块。
109.如上所述，如果mpm列表被配置为不包括平面模式，则从列表排除平面模式，并且mpm列表候选的数量可被设定为5。
110.另外，帧内预测模式当中的非定向模式(或非角模式)可包括基于当前块的邻近参考样本的平均的dc模式或基于插值的平面模式。
111.当应用帧间预测时，编码设备/解码设备的预测器可通过以块为单位执行帧间预测来推导预测样本。帧间预测可以是以取决于当前画面以外的画面的数据元素(例如，样本值或运动信息)的方式推导的预测。当对当前块应用帧间预测时，可基于参考画面索引所指示的参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块(预测样本阵列)。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块的运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测类型(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考画面可被称为并置画面(colpic)。例如，可基于当前块的邻近块来配置运动信息候选列表，并且可用信号通知指示选择(使用)哪一候选的标志或索引信息以推导当前块的运动向量和/或参考画面索引。可基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可与邻近块的运动信息相同。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(mvp)模式的情况下，所选邻近块的运动向量可用作运动向量预测器，并且可用信号通知当前块的运动向量。在这种情况下，可使用运动向量预测器与运动
向量差之和来推导当前块的运动向量。
112.根据帧间预测类型(l0预测、l1预测、bi预测等)，运动信息可包括l0运动信息和/或l1运动信息。l0方向上的运动向量可被称为l0运动向量或mvl0，l1方向上的运动向量可被称为l1运动向量或mvl1。基于l0运动向量的预测可被称为l0预测，基于l1运动向量的预测可被称为l1预测，基于l0运动向量和l1运动向量二者的预测可被称为双预测。这里，l0运动向量可指示与参考画面列表l0(l0)关联的运动向量，l1运动向量可指示与参考画面列表l1(l1)关联的运动向量。参考画面列表l0可包括按输出顺序比当前画面早的画面作为参考画面，参考画面列表l1可包括按输出顺序比当前画面晚的画面。先前画面可被称为前向(参考)画面，后续画面可被称为后向(参考)画面。参考画面列表l0还可包括按输出顺序比当前画面晚的画面作为参考画面。在这种情况下，先前画面可在参考画面列表l0中首先进行索引，后续画面可稍后进行索引。参考画面列表l1还可包括按输出顺序比当前画面早的先前画面作为参考画面。在这种情况下，后续画面可在参考画面列表1中首先进行索引，先前画面可稍后进行索引。输出顺序可对应于画面顺序计数(poc)顺序。
113.图4示出上下文自适应算术编码(cabac)的框图。
114.当输入信号是句法元素而非二进制值时，cabac的编码处理首先通过二值化将输入信号转换为二进制值。当输入信号已经是二进制值时，可旁路而不进行二值化。这里，构成二进制值的各个二进制数0或1被称为信元。例如，当二值化后的二进制串(信元串)为110时，1、1和0中的每一个被称为一个信元。用于一个句法元素的信元可指示对应句法元素的值。
115.二值化的信元被输入到常规编码引擎或旁路编码引擎。常规编码引擎向对应信元分配反映概率值的上下文模型，并且基于所分配的上下文模型对对应信元进行编码。
116.在常规编码引擎中，在对各个信元进行编码之后，可更新对应信元的概率模型。以这种方式编码的信元被称为上下文编码的信元。旁路编码引擎省略了估计输入信元的概率的过程以及在编码之后更新应用于对应信元的概率模型的过程。通过应用均匀概率分布(例如，50:50)而非分配上下文来对输入信元进行编码，从而改进编码速度。以这种方式编码的信元被称为旁路信元。可针对要上下文编码(常规编码)的各个信元分配和更新上下文模型，并且可基于ctxidx或ctxinc来指示上下文模型。可基于ctxinc来推导ctxidx。具体地，例如，指示各个常规编码的信元的上下文模型的上下文索引(ctxidx)可被推导为上下文索引增量(ctxinc)与上下文索引偏移(ctxidxoffset)之和。这里，可针对各个信元不同地推导ctxinc。ctxidxoffset可由ctxidx的最小值表示。ctxidx的最小值可被称为ctxidx的初始值(initvalue)。ctxidxoffset是通常用于区分其它句法元素的上下文模型的值，并且可基于ctxinc来区分/推导一个句法元素的上下文模型。
117.在熵编码过程中，可确定是通过常规编码引擎执行编码还是通过旁路编码引擎执行编码，因此，可切换编码路径。熵解码可按相反的顺序执行与熵编码相同的处理。
118.图5示出编码设备的熵编码器。
119.图5的熵编码器500可与上述图2的熵编码器240相同。熵编码器500中的二值化单元501可对目标句法元素执行二值化。这里，二值化可基于诸如截断莱斯(rice)二值化处理和定长二值化处理的各种二值化方法，并且用于目标句法元素的二值化方法可预定义。
120.熵编码器500中的熵编码处理器502可对目标句法元素执行熵编码。编码设备可基
于诸如上下文自适应算术编码(cabac)或上下文自适应可变长度编码(cavlc)的熵编码技术基于常规编码(基于上下文)或旁路编码对目标句法元素的空串进行编码，并且输出可被包括在比特流中。如上所述，比特流可通过(数字)存储介质或网络发送至解码设备。
121.图6示出解码设备的熵解码器。
122.图6的熵解码器600可与上述图3的熵解码器310相同。熵编码器600中的二值化单元601可对目标句法元素执行二值化。这里，二值化可基于诸如截断莱斯二值化处理和定长二值化处理的各种二值化方法，并且用于目标句法元素的二值化方法可预定义。解码设备可通过二值化处理来推导目标句法元素的可用值的可用信元串(信元串候选)。
123.熵解码器600中的熵解码处理器602可对目标句法元素执行熵解码。解码设备从比特流中的输入比特依次解码和解析目标句法元素的各个信元，并将所推导的信元串与对应句法元素的可用信元串进行比较。如果所推导的信元串与可用信元串之一相同，则与信元串对应的值被推导为对应句法元素的值。如果否，则在进一步解析比特流中的下一比特之后再次执行上述处理。通过该处理，对应信息可使用可变长度比特用信号通知，而无需使用比特流中的特定信息(特定句法元素)的开始比特或结束比特。由此，相对少的比特可被分配给低值，并且总体编码效率可增加。
124.图7示例性地示出用于编码图像/视频的分层结构。
125.参照图7，编码的图像/视频被划分成处理图像/视频及自身的解码处理的视频编码层(vcl)、发送和存储编码的信息的子系统以及负责功能并存在于vcl和子系统之间的nal(网络抽象层)。
126.在vcl中，生成包括压缩图像数据(切片数据)的vcl数据，或者可生成包括画面参数集(psp)、序列参数集(sps)和视频参数集(vps)的参数集或者图像解码处理另外需要的补充增强信息(sei)消息。
127.在nal中，可通过将头信息(nal单元头)添加到vcl中生成的原始字节序列有效载荷(rbsp)来生成nal单元。在这种情况下，rbsp是指vcl中生成的切片数据、参数集、sei消息等。nal单元头可包括根据包括在对应nal单元中的rbsp数据指定的nal单元类型信息。
128.如图中所示，nal单元可根据vcl中生成的rbsp被分类为vcl nal单元和非vcl nal单元。vcl nal单元可意指包括关于图像(切片数据)的信息的nal单元，非vcl nal单元可意指包括对图像进行解码所需的信息(参数集或sei消息)的nal单元。
129.可通过根据子系统的数据标准附加头信息来通过网络发送上述vcl nal单元和非vcl nal单元。例如，nal单元可被变换为诸如h.266/vvc文件格式、实时传输协议(rtp)、传输流(ts)等的预定标准的数据格式并通过各种网络发送。
130.如上所述，nal单元可根据包括在对应nal单元中的rbsp数据结构以nal单元类型来指定，并且关于nal单元类型的信息可被存储在nal单元头中并用信号通知。
131.例如，nal单元可根据nal单元是否包括关于图像的信息(切片数据)而被分类为vcl nal单元类型和非vcl nal单元类型。vcl nal单元类型可根据包括在vcl nal单元中的画面的本质和类型来分类，并且非vcl nal单元类型可根据参数集的类型来分类。
132.以下是根据包括在非vcl nal单元类型中的参数集的类型指定的nal单元类型的示例。
[0133]-aps(自适应参数集)nal单元：包括aps的nal单元的类型
[0134]-dps(解码参数集)nal单元：包括dps的nal单元的类型
[0135]-vps(视频参数集)nal单元：包括vps的nal单元的类型
[0136]-sps(序列参数集)nal单元：包括sps的nal单元的类型
[0137]-pps(画面参数集)nal单元：包括pps的nal单元的类型
[0138]-ph(画面头)nal单元：包括ph的nal单元的类型
[0139]
上述nal单元类型可具有nal单元类型的句法信息，并且该句法信息可被存储在nal单元头中并用信号通知。例如，句法信息可以是nal_unit_type，nal单元类型可由nal_unit_type值指定。
[0140]
此外，如上所述，一个画面可包括多个切片，一个切片可包括切片头和切片数据。在这种情况下，一个画面头可被进一步添加到一个画面中的多个切片(切片头和切片数据集)。画面头(画面头句法)可包括通常适用于画面的信息/参数。在本文献中，拼块组可与切片或画面混合或由切片或画面替换。另外，在本文献中，拼块组头可与切片头或画面头混合或由切片头或画面头替换。
[0141]
切片头(切片头句法)可包括通常可应用于切片的信息/参数。aps(aps句法)或pps(pps句法)可包括通常可应用于一个或更多个切片或画面的信息/参数。sps(sps句法)可包括通常可应用于一个或更多个序列的信息/参数。vps(vps句法)可包括通常可应用于多个层的信息/参数。dps(dps句法)可包括通常可应用于总视频的信息/参数。dps可包括与编码视频序列(cvs)的级联有关的信息/参数。本文献中的高级句法(hls)可包括aps句法、pps句法、sps句法、vps句法、dps句法和切片头句法中的至少一个。
[0142]
在本文献中，从编码设备编码并以比特流的形式用信号通知给解码设备的图像/图像信息不仅包括画面中的分割相关信息、帧内/帧间预测信息、残差信息、回路滤波信息等，而且包括切片头中所包括的信息、aps中所包括的信息、pps中所包括的信息、sps中所包括的信息和/或vps中所包括的信息。
[0143]
此外，为了补偿由于诸如量化的压缩编码处理中出现的错误而引起的原始图像与重构图像之间的差异，可如上所述对重构样本或重构画面执行回路滤波处理。如上所述，回路滤波可由编码设备的滤波器和解码设备的滤波器执行，并且可应用去块滤波器、sao和/或自适应环路滤波器(alf)。例如，可在去块滤波处理和/或sao处理完成之后执行alf处理。然而，即使在这种情况下，也可省略去块滤波处理和/或sao处理。
[0144]
图8是示意性地示出alf处理的示例的流程图。图8中公开的alf处理可在编码设备和解码设备中执行。在本文献中，编码设备可包括编码设备和/或解码设备。
[0145]
参照图8，编码设备推导用于alf的滤波器(s800)。滤波器可包括滤波器系数。编码设备可确定是否应用alf，并且当确定应用alf时，可推导包括用于alf的滤波器系数的滤波器。用于推导用于alf的滤波器(系数)的信息或用于alf的滤波器(系数)可被称为alf参数。关于是否应用alf的信息(即，alf启用标志)和用于推导滤波器的alf数据可从编码设备用信号通知给解码设备。alf数据可包括用于推导用于alf的滤波器的信息。另外，例如，为了alf的分层控制，可分别在sps、画面头、切片头和/或ctb级别用信号通知alf启用标志。
[0146]
为了推导用于alf的滤波器，推导当前块(或alf目标块)的活动性和/或方向性，并且可基于活动性和/或方向性来推导滤波器。例如，可以4
×
4块为单位(基于亮度分量)应用alf处理。当前块或alf目标块可以是例如cu，或者可以是cu内的4
×
4块。具体地，例如，用于
alf的滤波器可基于从包括在alf数据中的信息推导的第一滤波器和预定义的第二滤波器来推导，并且编码设备可基于活动性和/或方向性选择滤波器之一。编码设备可使用包括在所选滤波器中的滤波器系数来进行alf。
[0147]
编码设备基于滤波器执行滤波(s810)。可基于滤波来推导修改的重构样本。例如，滤波器中的滤波器系数可根据滤波器形状布置或分配，并且可对当前块中的重构样本执行滤波。这里，当前块中的重构样本可以是去块滤波处理和sao处理完成之后的重构样本。例如，可使用一个滤波器形状，或者可从多个预定滤波器形状当中选择并使用一个滤波器形状。例如，应用于亮度分量的滤波器形状和应用于色度分量的滤波器形状可不同。例如，7
×
7菱形滤波器形状可用于亮度分量，5
×
5菱形滤波器形状可用于色度分量。
[0148]
图9示出alf滤波器的形状的示例。图9的(a)中的c0～c11和图9的(b)中的c0～c5可以是取决于各个滤波器形状内的位置的滤波器系数。
[0149]
图9的(a)示出7
×
7菱形滤波器的形状，图9的(b)示出5
×
5菱形滤波器的形状。在图9中，滤波器形状中的cn表示滤波器系数。当cn中的n相同时，这指示可指派相同的滤波器系数。在本文献中，根据alf的滤波器形状指派滤波器系数的位置和/或单元可被称为滤波器抽头。在这种情况下，一个滤波器系数可被指派给各个滤波器抽头，滤波器抽头的布置可与滤波器形状对应。位于滤波器形状的中心的滤波器抽头可被称为中心滤波器抽头。相同的滤波器系数可被指派给相对于中心滤波器抽头存在于彼此对应的位置处的相同n值的两个滤波器抽头。例如，在7
×
7菱形滤波器形状的情况下，包括25个滤波器抽头，并且由于滤波器系数c0至c11以中心对称的形式指派，所以可仅使用13个滤波器系数向25个滤波器抽头指派滤波器系数。另外，例如，在5
×
5菱形滤波器形状的情况下，包括13个滤波器抽头，并且由于滤波器系数c0至c5以中心对称的形式指派，所以可仅使用7个滤波器系数向13个滤波器抽头指派滤波器系数。例如，为了减少用信号通知的关于滤波器系数的信息的数据量，可(明确地)用信号通知7
×
7菱形滤波器形状的13个滤波器系数当中的12个滤波器系数，并且可(隐含地)推导一个滤波器系数。另外，例如，可(明确地)用信号通知5
×
5菱形滤波器形状的7个滤波器系数当中的6个滤波器系数，并且可(隐含地)推导一个滤波器系数。
[0150]
根据本文献的实施方式，可通过自适应参数集(aps)用信号通知用于alf处理的alf参数。可从用于alf的滤波器信息或alf数据推导alf参数。
[0151]
alf是如上所述可在视频/图像编码中应用的一种环路内滤波技术。可使用基于维纳(wiener)的自适应滤波器来执行alf。这可以是为了使原始样本与解码样本(或重构样本)之间的均方误差(mse)最小化。alf工具的高级设计可包含可从sps和/或切片头(或拼块组头)访问的句法元素。
[0152]
图10示出alf数据的分层结构的示例。
[0153]
参照图10，编码视频序列(cvs)900可包括sps、一个或更多个pps以及随后的一个或更多个编码画面。各个编码画面可被分成矩形区域。矩形区域可被称为拼块。一个或更多个拼块可被聚合以形成拼块组或切片。在这种情况下，拼块组头可链接至pps，并且pps可链接至sps。根据现有方法，alf数据(alf参数)包括在拼块组头中。考虑到一个视频由多个画面组成并且一个画面包括多个拼块，以拼块组为单位的频繁alf数据(alf参数)信令降低了编码效率。
[0154]
根据本公开中提出的实施方式，alf参数可被包括在aps中并如下用信号通知。
[0155]
图11示出alf数据的分层结构的另一示例。
[0156]
参照图11，cvs 1100可包括sps、一个或更多个pps、一个或更多个aps以及随后的一个或更多个编码画面。即，定义aps，并且aps可承载必要的alf数据(alf参数)。另外，aps可具有自识别参数和alf数据。aps的自识别参数可包括aps id。即，除了alf数据字段之外，aps可包括指示aps id的信息。拼块组头或切片头可使用aps索引信息来参考aps。换言之，拼块组头或切片头可包括aps索引信息，并且可基于包括在具有aps索引信息所指示的aps id的aps中的alf数据(alf参数)来执行对目标块的alf处理。这里，aps索引信息可被称为aps id信息。
[0157]
另外，sps可包括允许使用alf的标志。例如，当cvs开始时，可检查sps，并且可在sps中检查该标志。例如，sps可包括下表1的句法。表1的句法可以是sps的一部分。
[0158]
[表1]
[0159][0160]
例如，包括在表1的句法中的句法元素的语义可如下表2所示表示。
[0161]
[表2]
[0162][0163]
即，句法元素sps_alf_enabled_flag可指示alf是否被启用。当通过sps(或sps级别)用信号通知的alf启用标志sps_alf_enabled_flag的值为1时，可确定对于参考sps的cvs中的画面启用alf。另外，当sps_alf_enabled_flag的值为0时，可确定对于参考sps的cvs中的画面未启用alf。
[0164]
此外，如上所述，可通过在比sps更低的级别用信号通知附加启用标志来单独地打开/关闭alf。例如，当对于cvs启用alf工具时，可在拼块组头或切片头中用信号通知slice_alf_enabled_flag。例如，切片头可包括下表3的句法。
[0165]
[表3]
[0166][0167]
例如，包括在表3的句法中的句法元素的语义可如下表中所示表示。
[0168]
[表4]
[0169][0170]
例如，当在sps级别启用alf时，可解析/用信号通知slice_alf_enabled_flag。由一个或更多个拼块组成的各个拼块组可基于slice_alf_enabled_flag确定alf是否被启用。
[0171]
当拼块组头或切片头中用信号通知的alf启用标志sps_alf_enabled_flag的值为1时，可通过切片头解析alf数据。例如，slice_alf_enabled_flag可指定亮度和色度分量的alf启用条件。
[0172]
可通过aps id信息(即，slice_alf_aps_id)来访问alf数据。对应拼块组或对应切片所参考的aps可基于aps id信息来识别。aps可包括alf数据。
[0173]
此外，可基于例如下表5的句法来描述包括alf数据的aps的结构。表5的句法可以是aps的一部分。
[0174]
[表5]
[0175][0176]
例如，包括在表5的句法中的句法元素的语义可如下表6所示表示。
[0177]
[表6]
[0178][0179]
如上所述，句法元素adaptation_parameter_set_id可指示对应aps的标识符。即，可基于句法元素adaptation_parameter_set_id来识别aps。句法元素adaptation_parameter_set_id可被称为aps id信息。另外，aps可包括alf数据字段。可在句法元素adaptation_parameter_set_id之后解析/用信号通知alf数据字段alf_data()。
[0180]
可在切片头或拼块组头中执行alf信息的核心处理/操纵。上述alf数据字段可包括关于alf滤波器的处理的信息。例如，可从alf数据字段提取的信息包括关于所使用的滤波器的数量的信息、指示是否仅对亮度分量应用alf的信息、关于颜色分量的信息、关于指数哥伦布(eg)参数的信息和/或滤波器系数的增量值等。
[0181]
此外，例如，alf数据字段可包括如下alf数据句法。
[0182]
[表7]
[0183]
[0184]
[0185][0186]
例如，包括在表7的句法中的句法元素的语义可如下表中所示表示。
[0187]
[表8]
[0188]
[0189]
[0190]
[0191]
[0192]
[0193]
[0194]
[0195][0196]
通过首先解析/用信号通知指示是否用信号通知亮度滤波器集合的句法元素alf_luma_filter_signal_flag来开始切片头中的alf数据的解析。类似地，可解析/用信号通知指示是否用信号通知色度滤波器的句法元素alf_chroma_filter_signal_flag。
[0197]
当alf_luma_filter_signal_flag被启用时，可解析alf_luma_clip_flag。
[0198]
当该标志被禁用时，可指定对亮度分量应用线性自适应环路滤波。当该标志被启用时，可指定对亮度分量应用非线性自适应环路滤波。
[0199]
另外，可解析关于所使用的亮度滤波器的数量的信息。
[0200]
作为示例，可使用的最大滤波器数量可被设定为25。当用信号通知的亮度滤波器的数量为至少一个时，对于从0至最大滤波器数量(即，25，可另选地称为类)的范围内的各个滤波器，可解析/用信号通知滤波器的索引信息。这可意指每一类(即，从0至最大滤波器数量)与滤波器索引关联。
[0201]
接下来，可解析/用信号通知alf_luma_use_fixed_filter_flag，它是指示当前切片中是否使用固定滤波器的标志。当alf_luma_use_fixed_filter_flag被启用时，可使用alf_luma_fixed_filter_set_idx参数来用信号通知固定滤波器集合的索引。该参数可具有0至15范围的值。另外，可解析/用信号通知alf_luma_fixed_filter_pred_present_flag。该标志可指定是否使用固定滤波器预测第i滤波器系数。然后，对于各个滤波器，指示固定滤波器是否用于对应滤波器的标志可被解码。
[0202]
当基于滤波器索引来标记要用于各类的滤波器时，可解析/用信号通知alf_luma_coeff_delta_flag。该标志可用于解释切片头中是否存在与alf亮度滤波器系数增量值的预测有关的标志alf_luma_coeff_delta_prediction_flag。
[0203]
如果由句法元素alf_luma_num_filters_signalled_minus1用信号通知的亮度滤波器的数量大于0并且句法元素alf_luma_coeff_delta_flag的值为0，则意指切片头中存在句法元素alf_luma_coeff_delta_prediction_flag并且评估其状态。如果句法元素alf_luma_coeff_delta_prediction_flag的状态指示1，则这可意指从先前亮度(滤波器)系数预测亮度滤波器系数。如果句法元素alf_luma_coeff_delta_prediction_flag的状态指示0，则这可意指不从先前亮度(滤波器)系数的增量预测亮度滤波器系数。
[0204]
另外，当增量滤波器系数(即，alf_luma_coeff_delta_abs)基于指数哥伦布码编码时，可确定指数哥伦布(eg)码的阶数k(阶k)以便将增量亮度滤波器系数(即，alf_luma_coeff_delta_abs)解码。例如，可基于指数哥伦布编码使用阶数k将滤波器系数解码。指数哥伦布码的阶数可被表示为eg(k)。
[0205]
为了确定eg(k)，可解析/用信号通知句法元素alf_luma_min_eg_order_minus1。句法元素alf_luma_min_eg_order_minus1可以是熵编码的句法元素。句法元素alf_luma_
min_eg_order_minus1可指示用于增量亮度滤波器系数的解码的eg的最小阶。例如，句法元素alf_luma_min_eg_order_minus1的值可在0至6的范围内。
[0206]
在解析/用信号通知句法元素alf_luma_min_eg_order_minus1之后，可解析/用信号通知句法元素alf_luma_eg_order_increase_flag。如果句法元素alf_luma_eg_order_increase_flag的值为1，则这指示句法元素alf_luma_min_eg_order_minus1所指示的eg的阶数增加1。如果句法元素alf_luma_eg_order_increase_flag的值为0，则这指示句法元素alf_luma_min_eg_order_minus1所指示的eg的阶数不增加。eg的阶数可由eg的索引表示。例如，可如下确定基于句法元素alf_luma_min_eg_order_minus1和句法元素alf_luma_eg_order_increase_flag的eg阶数(或eg索引)(与亮度分量有关)。
[0207]
[表9]
[0208][0209]
基于确定处理，expgoordery可被推导为expgoordery＝kmintab。由此，可推导包括eg阶数的阵列，其可由解码设备使用。expgoordery可指示eg阶数(或eg索引)。
[0210]
下表可表示用于基于上述算法推导哥伦布阶数的方法。即，上述算法可基于下表。在下表中，哥伦布索引可以是输入，要使用的k阶可以是对应输出。
[0211]
[表10]
[0212] 哥伦布索引＝0哥伦布索引＝1哥伦布索引＝2kmin＝1112alf_luma_eg_order_increase_flag[i]011哥伦布阶k123
[0213]
参照表10，(最小)哥伦布阶数和/或(最小)哥伦布索引可基于alf_eg_order_increase_flag[i]增加。例如，如果alf_luma_min_eg_order_minus1＝0，则kmin可被设定为＝0 1。当哥伦布索引为0时，可解析alf_luma_eg_order_increase_flag[i]。当该标志被启用时(如果可用)，与哥伦布索引＝0对应的哥伦布阶数可从初始kmin值增加1。如表11所示，当该标志被禁用时(不可用)，当哥伦布索引＝0时，哥伦布阶数可不增加。kmin可利用哥伦布阶数更新，例如哥伦布索引可被视为(更新为)1。这里，alf_luma_eg_order_increase_flag[1]的值可为1。因此，kmin哥伦布阶数可增加至2。类似地，alf_luma_eg_order_increase_flag[2]被启用(可用)，这可指示kmin增加1以使最终哥伦布阶数为3。
[0214]
图12示例性地示出根据滤波器类型的滤波器系数的哥伦布索引。图12的(a)可表示5
×
5滤波器，图12的(b)可表示7
×
7滤波器。这里，可仅示出对称滤波器的一部分。在图12中，各个位置的数字可表示与各个位置对应的alf滤波器系数的预先指派的哥伦布索引。
[0215]
在一个示例中，给定滤波器系数的第k阶哥伦布阶数可通过将给定系数位置的哥伦布索引索引到上表11中来确定。各个alf滤波器系数可使用第k阶来解码。
[0216]
在一个示例中，可存在预定义的哥伦布阶数索引(即，golomborderidxy)。预定义的哥伦布阶数可用于确定用于对系数进行编码的最终哥伦布阶数。
[0217]
例如，预定义的哥伦布阶数可例如如下式配置。
[0218]
[式1]
[0219]
golomborderidxy[]＝{0，0，1，0，1，2，l，0，0，1，2}
[0220]
这里，阶数k＝expgoordery[golomborderidxy[j]]，并且j可表示第j用信号通知的滤波器系数。例如，如果j＝2(即，第三滤波器系数)，则golomborderidxy[2]＝1，因此k＝expgoordery[1]。
[0221]
在这种情况下，例如，如果句法元素alf_luma_coeff_delta_flag的值表示真(即，1)，则可为用信号通知的每一个滤波器用信号通知句法元素alf_luma_coeff_flag。句法元素alf_luma_coeff_flag指示是否(明确地)用信号通知亮度滤波器系数。
[0222]
当确定eg阶数和上述相关标志(即，alf_luma_coeff_delta_flag、alf_luma_coeff_flag等)的状态时，可解析/用信号通知亮度滤波器系数的差信息和符号信息(即，alf_luma_coeff_flag为真)(如果指示)。可解析/用信号通知12个滤波器系数中的每一个的增量绝对值信息(alf_luma_coeff_delata_abs句法元素)。另外，如果句法元素alf_luma_coeff_delta_abs具有值，则可解析/用信号通知符号信息(句法元素alf_luma_coeff_delta_sign)。包括亮度滤波器系数的差信息和符号信息的信息可被称为关于亮度滤波器系数的信息。
[0223]
滤波器系数的增量可连同符号一起确定并存储。在这种情况下，带符号的滤波器系数的增量可按阵列的形式存储，其可被表示为filtercoefficients。滤波器系数的增量可被称为增量亮度系数，带符号的滤波器系数的增量可被称为带符号的增量亮度系数。
[0224]
为了从带符号的增量亮度系数确定最终滤波器系数，(亮度)滤波器系数可如下式更新。
[0225]
[式2]
[0226]
filtercoefficients[sigfiltidx][j] ＝filtercoefficients[sigfiltidx][j]
[0227]
这里，j可指示滤波器系数索引，sigfiltidx可指示用信号通知的滤波器索引。j＝{0,
…
,11}，并且sigfiltidx＝{0,
…
,alf_luma_filters_signaled_minus1}。
[0228]
系数可被复制到最终alfcoeffl[filtidx][j]中。在这种情况下，filtidx＝0,
…
,24，并且j＝0,
…
,11。
[0229]
给定滤波器索引的带符号的增量亮度系数可用于确定前12个滤波器系数。例如，7
×
7滤波器的第十三滤波器系数可基于下式确定。第十三滤波器系数可指示上述中心抽头滤波器系数。
[0230]
[式3]
[0231]
alfcoeff
l
[filtidx][12]＝128-∑kalfcoeffc[filtidx][k]《1
[0232]
这里，滤波器系数索引12可指示第十三滤波器系数。
[0233]
例如，为了确保比特流一致性，最终滤波器系数alfcoeffl[filtidx][k]的值的范围为0,
…
,11，可在-27至2
7-1范围内，并且当k为12时可在0至2
8-1范围内。这里，k可由j代替。
[0234]
当执行对亮度分量的处理时，可基于句法元素alf_chroma_idc执行对色度分量的
处理。如果句法元素alf_chroma_idc的值大于0，则可解析/用信号通知色度分量的最小eg阶数信息(即，句法元素alf_chroma_min_eg_order_minus1)。根据本文献的上述实施方式，5
×
5菱形滤波器形状可用于色度分量。在这种情况下，最大哥伦布索引可为2。在这种情况下，例如，色度分量的eg阶数(或eg索引)可如下确定。
[0235]
[表11]
[0236][0237]
基于确定处理，expgoorderc可被推导为expgoorderc＝kmintab。由此，可推导包括eg阶数的阵列，其可由解码设备使用。expgoorderc可指示色度分量的eg阶数(或eg索引)。
[0238]
如果alf_luma_clip_flag被启用(如果可用)，则可解析用于限幅的最小指数哥伦布阶数。类似于alf系数信令，可解析alf_luma_clip_eg_order_increase_flag。然后，对于各个滤波器索引，alf_luma_doeff_flag被启用(可用)，并且如果存在滤波器系数(即，j＝0..1)，则可解析限幅索引。
[0239]
一旦亮度滤波器系数被重构，也可解析色度系数。另外，可存在预定义的哥伦布阶数索引(golomborderidxc)。预定义的哥伦布阶数可用于确定用于对系数进行编码的最终哥伦布阶数。
[0240]
例如，预定义的哥伦布阶数可例如如下式配置。
[0241]
[式4]
[0242]
golomborderidxc[]＝{0，0，1，0，0，1}
[0243]
这里，阶数k＝expgoorderc[golomborderidxc[j]]，并且j可表示第j用信号通知的滤波器系数。例如，如果j＝2，则其指示第三滤波器系数，golomborderidxy[2]＝1，因此k＝expgoorderc[1]。
[0244]
基于此，可解析/用信号通知色度滤波器系数的绝对值信息和符号信息。包括色度滤波器系数的绝对值信息和符号信息的信息可被称为关于色度滤波器系数的信息。例如，可对色度分量应用5
×
5菱形滤波器形状，在这种情况下，可解析/用信号通知六个(色度分量)滤波器系数中的每一个的绝对增量信息(句法元素alf_chroma_coeff_abs)。另外，如果句法元素alf_chroma_coeff_abs的值大于0，则可解析/用信号通知符号信息(句法元素alf_chroma_coeff_sign)。例如，可基于关于色度滤波器系数的信息来推导六个色度滤波器系数。在这种情况下，例如，第七色度滤波器系数可基于下式确定。第七滤波器系数可表示上述中心抽头滤波器系数。
[0245]
[式5]
[0246]
g；olomborderidxc[]＝{0，0，1，0，0，，1}
[0247]
这里，滤波器系数索引6可指示第七滤波器系数。作为参考，由于滤波器系数索引从0开始，所以值6可指示第七滤波器系数。
[0248]
例如，为了确保比特流一致性，当k为0,
…
,5时，最终滤波器系数alfcoeffc[filtidx][k]的值的范围可为-27至2
7-1，当k为6时，最终滤波器系数alfcoeffc[filtidx][k]的值的范围可为-28至2
8-1。这里，k可由j代替。
[0249]
然后，类似于亮度的情况，当确定色度的限幅索引时，可检查alf_luma_clip_flag。如果该标志被启用(如果可用)，则可解析限幅的最小哥伦布阶数。然后，如果存在滤波器系数，则可解析alf_chroma_clip_index。
[0250]
如上所述，当推导(亮度/色度)滤波器系数时，可基于滤波器系数或包括滤波器系数的滤波器执行基于alf的滤波。由此，如上所述，可推导修改的重构样本。另外，可推导多个滤波器，并且多个滤波器之一的滤波器系数可用于alf处理。例如，可基于用信号通知的滤波器选择信息来指示多个滤波器之一。或者，例如，可基于当前块或alf目标块的活动性和/或方向性选择多个滤波器之一，并且所选滤波器的滤波器系数可用于alf处理。
[0251]
一旦来自aps和切片头的层信息被解码，编码树单元(ctu)就被解码。一个网络抽象层(nal)单元可包括切片头和切片数据。切片数据可方便编码树单元的解码。
[0252]
下表示例性地表示编码树单元的句法。
[0253]
[表12]
[0254][0255]
例如，包括在表12的句法中的句法元素的语义可如下表中所示表示。
[0256]
[表13]
[0257][0258][0259]
在ctu级别处理中，当对于切片启用alf时，可解析/用信号通知句法元素alf_ctb_flag。alf_ctb_flag可指定对编码树块(ctb)应用alf。当对ctb应用alf并且所发送的aps id的数量大于0时，可解析/用信号通知另一标志alf_use_aps_flag。当alf_use_aps_flag为1时，可指定对亮度ctb应用aps的滤波器信息。然而，当alf_use_aps_flag被停用时，可对ctb应用固定滤波器集合之一。
[0260]
在本文献的实施方式中，提出了用于高效地应用上述alf的编码处理。根据本文献的实施方式，提出了上述句法元素alf_luma_fixed_filter_idx的二值化处理的示例。这里，alf_luma_fixed_filter_idx可指定应用于(亮度)ctb(重构样本)的固定滤波器。
[0261]
在一个示例中，如果alf_use_aps_flag为真(值1)，则可对(亮度)ctb(重构样本)应用来自aps的滤波器集合，并且基于关于先前滤波器的信息(例如，alf_luma_prev_
filter_idx_minus1)，可推导滤波器系数。当alf_use_aps_flag为假(值0)时，可对(亮度)ctb(重构样本)应用固定滤波器。例如，alf_luma_fixed_filter_idx的值可在0至15的范围内。
[0262]
下表示出与alf有关的句法元素的二值化处理的示例。
[0263]
[表14]
[0264][0265][0266]
在表14中，句法元素alf_luma_fixed_filter_idx可基于截断二元(tb)二值化处理来编码。例如，与句法元素有关的最大值(例如，cmax)可为15。根据tb二值化处理，仅复杂度会不必要地增加，而没有任何额外益处。为此，提出了基于定长(fl)二值化处理的以下示例。
[0267]
下表示出与alf过程有关的句法元素的二值化信息的另一示例。
[0268]
[表15]
[0269][0270]
聚焦于与表14的不同来描述表15。在表15中，句法元素alf_luma_fixed_filter_idx可基于fl二值化处理来编码。例如，与句法元素有关的最大值(例如，cmax)可使用4比特表示。
[0271]
下表示出将ctxinc指派给以上下文编码信元作为根据上表15的上下文编码信元的句法元素的示例。在表15中，例如，对于句法元素alf_luma_fixed_filter_idx，binidx大于或等于5的信元可能不存在(或者可能不可用)。
[0272]
[表16]
[0273][0274]
根据本公开的实施方式，提出了上述句法元素alf_luma_fixed_filter_set_idx
的二值化过程的示例。这里，alf_luma_fixed_filter_set_idx可指定固定滤波器集合的索引。
[0275]
例如，可为alf_luma_fixed_filter_set_idx的信令应用定长(fl)二值化过程。
[0276]
下表举例说明了alf数据句法。
[0277]
[表17]
[0278][0279]
参考上表，alf_luma_fixed_filter_set_idx可基于定长(fl)二值化过程而非截断二元(tb)二值化过程来编码。例如，包括在表中的alf_luma_fixed_filter_set_idx的语义可如下表中所示表示。
[0280]
[表18]
[0281][0282]
在本文献的实施方式中，提出了用于简化哥伦布阶数的信令推导处理的与alf系数有关的信令方法。例如，在本文献的实施方式中，所提出的方法可通过固定信令实现。在一个示例中，指数哥伦布码的第k阶对于亮度可固定为2，对于色度可固定为3。然而，本文献的实施方式未必限于这种示例，k阶可被固定为另一适当值。
[0283]
下表示出应用了上述简化的alf数据字段的句法。
[0284]
[表19]
[0285]
[0286][0287]
例如，包括在表19的句法中的句法元素的语义可如下表中所示表示。
[0288]
[表20]
[0289]
[0290][0291]
在本文献的实施方式中，提出了对于各个alf滤波器系数使用预定哥伦布阶数的方法。
[0292]
下表示例性地示出用于对alf亮度系数进行解码的哥伦布阶数(第k阶)。c0至c11表示alf亮度系数索引(或者例如，取决于根据图6用于alf的滤波器形状中的位置的滤波器系数)，其中，例如，第k阶可为2或3。
[0293]
[表21]
[0294]
[0295][0296]
下表举例说明了根据此实施方式的基于编码的语义。例如，下表可以是修改以固定亮度系数或色度系数的哥伦布阶数的语义。
[0297]
[表22]
[0298]
[0299][0300]
在本文献的实施方式中，提出了仅针对色度分量用信号通知固定哥伦布阶数的方法。即，根据此实施方式实现用于固定色度分量的哥伦布阶数的信令的示例。
[0301]
下表示例性地示出根据本文献的实施方式的基于编码的alf数据字段的句法。
[0302]
[表23]
[0303]
[0304]
[0305][0306]
例如，包括在表23的句法中的句法元素的语义可如下表中所示表示。
[0307]
[表24]
[0308][0309]
在本文献的实施方式中，提出了用于对关于alf限幅的信息进行编码的固定信令(例如，alf_luma_clip_idx[sfidx][j]、alf_chroma_clip_idx[j]等)。例如，k阶哥伦布可预定或预先固定，并且如上述实施方式中那样使用。
[0310]
下表举例说明了根据本实施方式的基于编码的alf数据字段的句法。
[0311]
[表25]
[0312]
[0313][0314]
例如，包括在表25的句法中的句法元素的语义可如下表中所示表示。
[0315]
[表26]
[0316]
[0317][0318]
在本文献的实施方式中，提出了基于(或依赖于)指数哥伦布编码从alf数据字段的各种角度的信令组合。即，可通过此实施方式实现将上述实施方式中的至少一个组合的信令的示例。
[0319]
下表示例性地示出根据本实施方式的基于编码的alf数据字段的句法。
[0320]
[表27]
[0321]
[0322][0323]
例如，包括在表27的句法中的句法元素的语义可如下表中所示表示。
[0324]
[表28]
[0325]
[0326][0327]
在本公开的实施方式中，提出了防止色度的aps id被用信号通知和推断的方法。下表举例说明了根据本实施方式的基于编码的切片头的句法。
[0328]
[表29]
[0329][0330]
例如，包括在上表的句法中的句法元素的语义可如下表中所示表示。
[0331]
[表30]
[0332][0333]
参考上表，不管切片类型是否为i或者切片所参考的alf aps的数量是否为一个，可用信号通知slice_alf_aps_id_chroma。
[0334]
另外，在本公开的实施方式中，提出了解析/用信号通知色度分量的替代滤波器信息的方法。
[0335]
下表示例性地示出根据本实施方式的基于编码的alf数据字段的句法。
[0336]
[表31]
[0337][0338]
例如，包括在上表的句法中的句法元素的语义可如下表中所示表示。
[0339]
[表32]
[0340]
[0341]
[0342]
[0343]
[0344]
[0345][0346]
参考上表，alf数据字段可包括色度分量的替代滤波器信息。
[0347]
例如，句法元素alf_chroma_num_alts_minus1可指示用于色度分量的替代滤波器的数量。用于色度分量的替代滤波器的索引altidx可具有0至alf_chroma_num_alts_minus1范围内的值。另外，句法元素alf_chroma_coeff_abs[altidx][j]可指示具有索引altidx的替代滤波器中所包括的第i系数的绝对值。另外，句法元素alf_chroma_coeff_sign[altidx][j]可指示具有索引altidx的替代滤波器中所包括的第i系数的符号。
[0348]
比较上表32与上表7，可以理解，在本公开的实施方式中，与alf系数和限幅系数的指数哥伦布编码有关的句法被简化，并且通过使用固定滤波器预测去除了用于预测滤波器系数的句法。另外，参考上表32，在本公开的实施方式中，提出了用信号通知固定指数哥伦布阶数，而非用信号通知指数哥伦布(eg)码的阶数k的方法。
[0349]
下表举例说明了编码树单元(ctu)的句法。
[0350]
[表33]
[0351][0352]
例如，包括在上表的句法中的句法元素的语义可如下表中所示表示。
[0353]
[表34]
[0354]
[0355][0356]
参考上表，可包括用于应用alf的编码树单元(ctu)或当前块的色度分量的替代滤波器的索引信息。例如，句法元素alf_ctb_filter_alt_idx可指定当对色度索引为1或2的色度分量应用alf时用于色度分量的替代滤波器的索引。
[0357]
下表举例说明了样本自适应偏移句法(sao)的句法。
[0358]
[表35]
[0359][0360]
下表以标准文档格式示出alf过程的示例。
[0361]
[表36]
[0362]
[0363][0364]
另外，下表以标准文档格式示出对亮度样本的编码树单元滤波过程的示例。
[0365]
[表37]
[0366]
[0367]
[0368]
[0369][0370]
另外，下表以标准文档格式示出用于推导亮度样本的alf转置和滤波器索引的过程的示例。
[0371]
[表38]
[0372]
[0373]
[0374]
[0375][0376]
另外，下表以标准文档格式示出对色度样本的编码树单元滤波过程的示例。
[0377]
[表39]
[0378]
[0379]
[0380][0381]
另外，下表示出根据句法元素alf_ctb_filter_alt_idx的上下文索引增量(ctxinc)的初始化值(initvalue)和移位索引(shiftidx)的示例。
[0382]
[表40]
[0383][0384]
[0385]
参考上表，指示替代滤波器的索引信息的句法元素alf_ctb_filter_alt_idx的初始化值(initvalue)可基于alf_ctb_filter_alt_idx的上下文索引增量(ctxinc)或初始化类型(inittype)来确定。另外，alf_ctb_filter_alt_idx的移位索引(shiftidx)可基于alf_ctb_filter_alt_idx的上下文索引增量(ctxinc)来确定。
[0386]
另外，下表示出与包括句法元素alf_ctb_filter_alt_idx的各种句法有关的二值化的示例。
[0387]
[表41]
[0388]
[0389]
[0390][0391]
参考上表，指示用于应用alf的编码树单元(ctu)或当前块的色度分量的替代滤波器的索引信息的句法元素alf_ctb_filter_alt_idx可基于替代滤波器的索引参数的截断莱斯二值化方法来编码。另外，用于色度分量的替代滤波器的索引参数的最大值(cmax)可对应于alf_chroma_num_alts_minus1。alf_chroma_num_alts_minus1可对应于比用于色度
分量的替代滤波器的数量小1的值。另外，截断莱斯二值化方法可基于莱斯参数(criceparam)值0来执行。
[0392]
另外，下表以标准文档格式示出用于推导句法元素alf_ctb_filter_alt_idx的上下文索引增量(ctxinc)的过程的示例。
[0393]
[表42]
[0394][0395]
替代滤波器的索引信息的信元串中的信元可基于上下文模型来熵解码，并且替代滤波器的索引信息的信元串中的信元的上下文模型可基于信元的上下文索引增量来确定。参考上表，替代滤波器的索引信息的上下文模型可基于指示替代滤波器的索引信息的句法元素alf_ctb_filter_alt_idx的上下文索引增量来确定，并且替代滤波器的索引信息的上下文索引增量可基于应用alf的ctu或当前块的色度分量来确定。例如，替代滤波器的索引信息的上下文索引增量可基于色度分量的索引来确定。例如，当当前块的色度分量为cb时推导的上下文索引增量可不同于当当前块的色度分量为cr时推导的上下文索引增量。例如，当色度分量的索引为0时，alf_ctb_filter_alt_idx的上下文索引增量可具有值0，当色度分量的索引为1时，alf_ctb_filter_alt_idx的上下文索引增量可具有值1。另选地，例如，当色度分量的索引为1时，alf_ctb_filter_alt_idx的上下文索引增量可具有值1，当色度分量的索引为2时，alf_ctb_filter_alt_idx的上下文索引增量可具有值2。
[0396]
图13和图14示意性地示出根据本公开的实施方式的视频/图像编码方法的示例和相关组件。图13所示的方法可由图2所示的编码设备执行。具体地，例如，s1300可由编码设备的预测器220执行，s1310可由编码设备的残差处理器230执行，s1320可由编码设备的残差处理器230或加法器250执行。另外，s1330至s1340可由编码设备的加法器250执行，s1350可由编码设备的熵编码器240执行。图13所示的方法可包括本公开中上面描述的实施方式。
[0397]
参照图13，编码设备推导当前画面中的当前块的预测样本(s1300)。编码设备可基于预测模式来推导当前块的预测样本。编码设备可生成指示应用于当前块的预测模式的预测模式信息。在这种情况下，可应用本公开中描述的各种预测方法(例如，帧间预测或帧内预测)。在这种情况下，编码设备可生成预测模式信息。编码设备可生成指示应用于当前块的预测模式的预测模式信息。
[0398]
编码设备基于预测样本来推导当前块的残差样本(s1210)。编码设备可基于预测样本和原始样本来推导残差样本。例如，编码设备可基于原始样本与修改的重构样本之间的比较来推导残差样本。
[0399]
编码设备基于残差样本来生成残差信息和重构样本(s1320)。基于残差信息，可推导(修改的)残差样本。可基于(修改的)残差样本和预测样本来生成重构样本。
[0400]
编码设备推导重构样本的自适应环路滤波器(alf)的滤波器系数(s1330)。编码设备可生成alf相关信息。编码设备可推导可应用于对重构样本进行滤波的alf相关参数。
[0401]
另外，编码设备基于滤波器系数来生成alf信息(s1340)。例如，alf信息可包括关
于本公开中上面描述的alf滤波器系数的信息、关于固定滤波器的信息、关于限幅的信息等。另选地，例如，alf信息可包括当前块的色度分量的替代滤波器信息。
[0402]
编码设备对包括alf信息和残差信息的图像信息进行编码(s1250)。图像/视频信息可包括用于生成重构样本的信息和/或与alf有关的信息。用于生成重构样本的信息可包括例如预测相关信息、残差信息和/或量化/变换相关信息。预测相关信息可包括关于各种预测模式(例如，合并模式、mvp模式等)的信息、mvd信息等。
[0403]
编码的图像/视频信息可按比特流的形式输出。比特流可通过网络或存储介质发送至解码设备。
[0404]
根据本公开的实施方式，图像/视频信息可包括各种类型的信息。
[0405]
在实施方式中，替代滤波器信息可包括关于用于当前块的色度分量的替代滤波器的数量的信息、包括在用于当前块的色度分量的替代滤波器中的系数的绝对值信息以及用于当前块的色度分量的替代滤波器中所包括的系数的符号信息。
[0406]
在实施方式中，替代滤波器信息可包括用于当前块的色度分量的替代滤波器的索引信息。并且替代滤波器的索引信息可基于截断莱斯二值化。
[0407]
在实施方式中，替代滤波器的索引信息的最大值(cmax)可等于比用于当前块的色度分量的替代滤波器的数量小1的值，并且截断莱斯二值化可基于莱斯参数(criceparam)值0来执行。
[0408]
在实施方式中，用于替代滤波器的索引信息的信元串中的信元可基于上下文模型来熵编码。相对于替代滤波器的索引信息的信元串中的信元的上下文模型可基于信元的上下文索引增量来确定。另外，上下文索引增量可基于当前块的色度分量的索引来确定。
[0409]
在实施方式中，当当前块的色度分量为cb时推导的上下文索引增量可不同于当当前块的色度分量为cr时推导的上下文索引增量。
[0410]
在实施方式中，图像信息可包括关于alf限幅的信息，并且关于alf限幅的信息可包括指示是否对当前块的色度分量应用限幅的标志以及指示限幅值的限幅索引信息。
[0411]
图15和图16示意性地示出根据本公开的实施方式的图像/视频解码方法的示例和相关组件。图15所示的方法可由图3所示的解码设备执行。具体地，例如，s1500可由解码设备的熵解码器310执行，s1510可由解码设备的加法器340执行，s1520至s1530可由解码设备的滤波器350执行。图15所示的方法可包括本公开中上面描述的实施方式。
[0412]
参照图15，解码设备从比特流获得包括自适应环路滤波器(alf)信息和残差信息的图像信息(s1500)。图像信息可包括根据本公开的上述实施方式的各种信息。例如，图像信息可包括预测相关信息或残差相关信息的至少一部分。
[0413]
例如，预测相关信息可包括帧间预测模式信息或帧间预测类型信息。例如，帧间预测模式信息可包括指示各种帧间预测模式的至少一部分的信息。例如，可使用诸如合并模式、跳过模式、运动向量预测(mvp)模式、仿射模式、子块合并模式或合并与mvd(mmvd)模式的各种模式。另外，除了或代替辅助模式，可使用解码器侧运动向量细化(dmvr)模式、自适应运动向量分辨率(amvr)模式、具有cu级别权重的双预测(bcw)或双向光流(bdof)等。例如，帧间预测类型信息可包括inter_pred_idc句法元素。另选地，帧间预测类型信息可包括指示l0预测、l1预测和成对(双)预测中的任一个的信息。
[0414]
另外，图像信息可包括根据本公开的实施方式的各种信息。例如，图像信息可包括
alf信息，并且alf信息可包括上述表1至表42中的至少一个中描述的信息。例如，alf信息可包括关于本公开中上面描述的alf滤波器系数的信息、关于固定滤波器的信息、关于限幅的信息等。另选地，例如，alf信息可包括用于当前块的色度分量的替代滤波器信息。
[0415]
解码设备基于残差信息生成当前块的重构样本(s1510)。解码设备可基于包括在图像/视频信息中的预测相关信息来推导当前块的预测样本。解码设备可基于包括在图像/视频信息中的残差信息来推导残差样本。解码设备可基于预测样本和残差样本来生成重构样本。重构块和重构画面可基于重构样本来推导。
[0416]
解码设备基于alf信息来推导alf的滤波器系数(s1520)。解码设备可推导alf的滤波器系数。一个滤波器可包括一组滤波器系数。滤波器或滤波器系数可基于alf信息来推导。另选地，用于当前块的色度分量的滤波器系数可基于替代滤波器信息来生成。
[0417]
解码设备基于重构样本和alf信息生成当前块的修改的重构样本(s1530)。解码设备可从alf信息推导用于alf的滤波器系数，并且基于滤波器系数来生成重构样本和修改的重构样本。
[0418]
例如，解码设备可通过对重构样本进行滤波来生成修改的重构样本，并且可使用基于滤波器系数的滤波器来执行重构样本的滤波过程。由解码设备重构的画面可包括重构样本。
[0419]
在实施方式中，替代滤波器信息可包括关于用于当前块的色度分量的替代滤波器的数量的信息、包括在用于当前块的色度分量的替代滤波器中的系数的绝对值信息以及包括在用于当前块的色度分量的替代滤波器中的系数的符号信息。
[0420]
在实施方式中，替代滤波器信息可包括用于当前块的色度分量的替代滤波器的索引信息，并且替代滤波器的索引信息可基于截断莱斯二值化。
[0421]
在实施方式中，替代滤波器的索引信息的最大值(cmax)可等于比用于当前块的色度分量的替代滤波器的数量小1的值，并且可基于莱斯参数(criceparam)值0执行截断莱斯二值化。
[0422]
在实施方式中，用于替代滤波器的索引信息的信元串中的信元可基于上下文模型来熵编码。相对于替代滤波器的索引信息的信元串中的信元的上下文模型可基于信元的上下文索引增量来确定。另外，上下文索引增量可基于当前块的色度分量的索引来确定。
[0423]
在实施方式中，当当前块的色度分量为cb时推导的上下文索引增量可不同于当当前块的色度分量为cr时推导的上下文索引增量。
[0424]
在实施方式中，图像信息可包括关于alf限幅的信息，并且关于alf限幅的信息可包括指示是否对当前块的色度分量应用限幅的标志以及指示限幅值的限幅索引信息。
[0425]
在上述实施方式中，基于具有一系列步骤或方框的流程图来描述方法。本公开不限于上述步骤或方框的顺序。一些步骤或方框可同时发生或按照与如上所述的其它步骤或方框不同的顺序发生。此外，本领域技术人员将理解，上述流程图中所示的步骤不是排他性的，可包括另外的步骤，或者可删除流程图中的一个或更多个步骤，而不影响本公开的范围。
[0426]
根据本文献的上述实施方式的方法可按软件形式实现，并且根据本文献的编码设备和/或解码设备例如可被包括在执行tv、计算机、智能电话、机顶盒、显示装置等的图像处理的设备中。
[0427]
当本文献中的实施方式以软件实现时，上述方法可被实现为执行上述功能的模块(进程、函数等)。模块可被存储在存储器中并由处理器执行。存储器可位于处理器的内部或外部，并且可通过各种熟知手段联接到处理器。处理器可包括专用集成电路(asic)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括只读存储器(rom)、随机存取存储器(ram)、闪存、存储卡、存储介质和/或其它存储装置。即，本文献中描述的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。例如，各个附图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于用于实现的指令或算法的信息可被存储在数字存储介质中。
[0428]
另外，应用了本公开的解码设备和编码设备可被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设备、实时通信设备(例如，视频通信)、移动流设备、存储介质、摄像机、vod服务提供设备、顶置(ott)视频设备、互联网流服务提供设备、三维(3d)视频设备、电话会议视频设备、运输工具用户设备(即，车辆用户设备、飞机用户设备、船舶用户设备等)和医疗视频设备中，并且可用于处理视频信号和数据信号。例如，顶置(ott)视频设备可包括游戏机、蓝光播放器、互联网访问tv、家庭影院系统、智能电话、平板pc、数字视频记录仪(dvr)等。
[0429]
另外，应用了本文献的处理方法可按照要由计算机执行的程序的形式生成，并且可被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机系统可读的数据的所有类型的存储装置。例如，计算机可读记录介质可包括bd、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波的形式实现的介质(即，通过互联网的传输)。另外，通过该编码方法生成的比特流可被存储在计算机可读记录介质中或者可经由有线/无线通信网络发送。
[0430]
另外，本文献的实施方式可根据程序代码以计算机程序产品来实现，并且可通过本文献的实施方式在计算机中执行程序代码。程序代码可被存储在计算机可读的载体上。
[0431]
图17示出本文献中公开的实施方式可应用于的内容流系统的示例。
[0432]
参照图17，应用了本文献的实施方式的内容流系统可主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
[0433]
编码服务器将从多媒体输入装置(例如，智能电话、相机、摄像机等)输入的内容压缩为数字数据以生成比特流并将比特流发送到流服务器。作为另一示例，当多媒体输入装置(例如，智能电话、相机、摄像机等)直接生成比特流时，可省略编码服务器。
[0434]
可通过应用了本公开的实施方式的编码方法或比特流生成方法来生成比特流，并且在发送或接收比特流的过程中，流服务器可暂时存储比特流。
[0435]
流服务器通过网络服务器基于用户的请求将多媒体数据发送到用户装置，并且网络服务器用作告知用户服务的介质。当用户向网络服务器请求期望的服务时，网络服务器将其传送至流服务器，并且流服务器将多媒体数据发送到用户。在这种情况下，内容流系统可包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
[0436]
流服务器可从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，内容可实时地接收。在这种情况下，为了提供平滑的流服务，流服务器可将比特
流存储达预定时间。
[0437]
用户装置的示例可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、石板pc、平板pc、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字tv、台式计算机、数字标牌等。内容流系统中的各个服务器可作为分布式服务器来操作，在这种情况下从各个服务器接收的数据可被分布。
[0438]
内容流系统中的各个服务器可作为分布式服务器来操作，并且在这种情况下，从各个服务器接收的数据可被分布和处理。
[0439]
本文中所描述的权利要求可按各种方式组合。例如，本文献的方法权利要求的技术特征可被组合并实现为设备，并且本文献的设备权利要求的技术特征可被组合并实现为方法。另外，本文献的方法权利要求的技术特征和设备权利要求的技术特征可被组合以实现为设备，本文献的方法权利要求的技术特征和设备权利要求的技术特征可被组合并实现为方法。