对图像的一个或多个部分进行编码和解码的方法和装置以及存储介质与流程

本发明涉及视频成分的块的编码或解码。本发明的实施例发现了在控制用于滤波这种成分的样本的滤波器时的特定但不排他的使用。特别地但不排他地，控制自适应环路滤波器。

背景技术：

1、视频编码包括图像编码(图像等效于视频的单个帧)。在视频编码中，诸如变换系数的量化或运动补偿(通常使用插值滤波器来进行)等的一些编码工具经常引入失真偏置/效应(在给定上下文中看起来是规则的或至少是非随机的失真)。为了补偿这些偏差/伪像，并且提高(或至少维持良好水平的)编码效率，使用一些特定编码工具，称为后滤波器或环内滤波器。解块滤波器(dbf)、样本自适应位移(sao)滤波器或自适应环路滤波器(alf)是这种编码工具的一些示例。在编码环路内应用环内滤波器，使得它们提供给当前帧的图像质量增加，由此基于当前帧编码的下一帧的编码效率增加。例如，dct系数的量化对于视频压缩是有效的，但是它经常在压缩的样本块的边界上引入块伪像(偏差)。解块滤波器减少了由这种伪像引起的不期望的影响。与在编码环路外(例如，就在显示帧之前)对帧进行解块相比，在编码环路内(在帧用作另一帧的运动补偿的参考帧之前)对解码帧进行解块(使用dbf)显著地增加了运动补偿的编码效率。

2、本发明特别涉及自适应环路滤波器(alf)，该自适应环路滤波器也用作环内滤波器以减少解码帧/图像中的不期望的压缩伪像。alf已经由视频编码专家组/运动图片专家组(vceg/mpeg)标准化组研究，并且正考虑在通用视频编码(vvc)标准中使用，例如在vvc测试模型软件的第三版本(vtm-3.0或vvc草稿版本3)中使用。

技术实现思路

1、本发明的实施例的目的在于解决视频成分的块的前述编码或解码的一个或多个问题或缺点。

2、虽然alf是高效的编码工具，但其线性滤波是提高图像质量的次优解。本发明使得利用alf的非线性滤波能够提高其效率和/或性能。

3、根据本发明的方面，提供了如所附权利要求中所阐述的设备/装置、方法、程序、计算机可读存储介质和信号。根据从属权利要求和说明书，本发明的其它特征将是明显的。

4、根据本发明的第一方面，提供针对图像的一个或多个图像部分控制自适应环路滤波器的方法，所述方法包括基于图像部分的第一样本值的一个或多个邻近样本值来控制对第一样本的滤波，其中所述控制使用具有一个或多个邻近样本值作为变量的非线性函数。适当地，非线性函数的变量包括两个或更多个邻近样本值。适当地，非线性函数的变量还包括第一样本值和取决于一个或多个邻近样本值的位置的第一变量。适当地，第一变量取决于两个或更多个邻近样本值的位置。适当地，非线性函数的输出被用作自适应环路滤波器的输入(或输入参数)。

5、根据本发明的第二方面，提供用于针对图像的一个或多个图像部分控制滤波器的方法，所述方法包括基于图像部分的第一样本值的一个或多个邻近样本值来控制对第一样本的滤波，其中所述控制使用具有包括第一样本值、一个或多个邻近样本值和第一变量的多个变量的非线性函数，所述第一变量取决于一个或多个邻近样本值的位置。适当地，多个变量包括两个或更多个邻近样本值。适当地，第一变量取决于两个或更多个邻近样本值的位置。适当地，滤波器是自适应环路滤波器。

6、根据本发明的第三方面，提供用于针对图像的一个或多个图像部分控制滤波器的方法，所述方法包括基于图像部分的第一样本值的一个或多个邻近样本值来控制对第一样本的滤波，其中所述控制使用一个或多个限幅函数，限幅函数具有基于第一样本值、两个或更多个邻近样本值和限幅参数的一个或多个控制参数。适当地，一个或多个控制参数基于第一样本值、两个或更多个邻近样本值和限幅参数。适当地，滤波器是自适应环路滤波器。适当地，一个或多个限幅函数中的各个限幅函数是以下各项之一：max(-b,min(b,d))、min(b,max(-b,d))、max(c-b,min(c+b,n))或min(c+b,max(c-b,n))；以及c是第一样本值，n是邻近样本值，d＝n-c，并且b是限幅参数。

7、根据本发明的第四方面，提供用于针对图像的一个或多个图像部分控制自适应环路滤波器的方法，所述方法包括基于图像部分的第一样本值的一个或多个邻近样本值来控制对第一样本的滤波，其中所述控制使用第一样本值以及一个或多个邻近样本值的非线性组合作为自适应环路滤波器的输入参数。适当地，自适应环路滤波器如vtm3.0中所指定。

8、根据本发明的第五方面，提供用于针对图像的一个或多个图像部分控制自适应环路滤波器的方法，所述方法包括基于图像部分的第一样本值的两个或更多个邻近样本值来控制对第一样本的滤波，其中所述控制使用两个或更多个邻近样本值的非线性组合作为自适应环路滤波器的输入参数。适当地，自适应环路滤波器如vtm3.0中所指定。

9、对于本发明的第四和第五方面，可以根据其实施例提供以下特征。适当地，非线性组合是非线性函数的一部分。适当地，自适应环路滤波器的输入参数还包括第一变量，该第一变量取决于一个或多个邻近样本值的位置。适当地，第一变量取决于两个或更多个邻近样本值的位置。适当地，非线性组合是第一样本值、一个(或两个或更多个)邻近样本值和第一变量。

10、根据本发明的第六方面，提供处理图像的一个或多个部分的方法，图像部分具有与其相关联的色度样本和亮度样本，其中所述方法包括基于从位流获得的信息或者图像部分的第一样本值及其一个或多个邻近样本值确定以下各项至少之一：使用或不使用利用根据第一方面、第二方面、第三方面、第四方面或第五方面的方法所控制的滤波器；启用或禁用所述滤波器的使用；或者在对第一样本值进行滤波时与所述滤波器一起使用的滤波参数。适当地，从位流可获得的信息包括标志或索引。适当地，从位流可获得的信息包括以下各项中的一个或多个：用于识别所述滤波器的信息；用于指示使用或不使用的标志；用于指示启用或禁用的标志；关于与所述滤波器一起使用的第一变量的信息；或者关于用于指定值范围的限幅参数的信息。适当地，关于第一变量的信息用于指定值或者识别第一函数作为第一变量。适当地，第一变量取决于一个或多个邻近样本值的位置(或者能够基于一个或多个邻近样本值的位置而变化)。适当地，第一变量取决于两个或更多个邻近样本值的位置。

11、根据本发明的第七方面，提供对一个或多个图像进行编码的方法，所述方法包括针对图像的一个或多个部分，根据第一方面、第二方面、第三方面、第四方面或第五方面控制滤波器，或者根据第六方面进行处理。适当地，该方法还包括：接收图像；对所接收的图像进行编码并生成位流；以及处理编码图像，其中处理包括根据第一方面、第二方面、第三方面、第四方面或第五方面进行控制或者根据第六方面进行处理。适当地，当从属于第六方面时，该方法还包括在位流中提供所述信息。适当地，该方法还包括：从多个可用函数中选择非线性函数或者一个或多个限幅函数；在处理编码图像时使用所选择的函数；以及在位流中提供用于识别所选择的函数的信息。

12、根据本发明的第八方面，提供对一个或多个图像进行解码的方法，所述方法包括针对图像的一个或多个部分，根据第一方面、第二方面、第三方面、第四方面或第五方面控制滤波器或者根据第六方面进行处理。适当地，该方法还包括：接收位流；从所接收的位流中解码信息以获得图像；以及处理所获得的图像，其中处理包括根据第一方面、第二方面、第三方面、第四方面或第五方面进行控制，或者根据第六方面进行处理。适当地，当从属于第六方面时，该方法还包括从位流获得所述信息。适当地，该方法还包括：从位流获得用于从多个可用函数识别非线性函数或者一个或多个限幅函数的信息；以及在处理所获得的图像时使用所识别的函数。

13、根据本发明的第九方面，提供用于针对图像的一个或多个部分控制滤波器的装置，所述装置包括控制器，所述控制器被配置为进行根据第一方面、第二方面、第三方面、第四方面、第五方面或第六方面的方法。

14、根据本发明的第十方面，提供用于对图像进行编码的装置，该装置包括根据第九方面的控制装置。适当地，该装置被配置成进行根据第七方面的方法。

15、根据本发明的第十一方面，提供用于对图像进行解码的装置，该装置包括根据第九方面的控制装置。适当地，该装置被配置成进行根据第八方面的方法。

16、根据本发明的第十二方面，提供用于针对图像的一个或多个图像部分控制自适应环路滤波器的方法，所述方法包括基于图像部分的第一样本值的多个邻近样本值来控制第一样本的滤波，其中所述控制包括使用非线性函数，非线性函数具有基于邻近样本值中的一个或多个的一个或多个变量。应当理解，邻近样本(值)不限于相邻样本(值)，而是还包括第一样本(值)周围或附近的样本(值)。适当地，控制包括将未用于确定或作为非线性函数中的变量的一个或多个其它邻近样本中的一个或多个邻近样本值用作自适应环路滤波器的输入参数。适当地，值用于确定或作为一个或多个(或该)非线性函数中的变量的邻近样本布置成如下形状：与第一样本在交叉点处的交叉；或者平行四边形。适当地，值用于确定或作为一个或多个(或该)非线性函数中的变量的邻近样本被布置成如下形状：当8个邻近样本的值用于确定或作为非线性函数中的变量时，与第一样本在交叉点处的高5个样本和宽5个样本的交叉，或者各个边长度为3个样本的中空平行四边形；或者当12个邻近样本的值被用于确定或作为一个或多个(或该)非线性函数中的变量时，各个边长度为3个样本的平行四边形。适当地，与第一样本在交叉点(和/或中心)处的交叉是以下各项之一：垂直和水平线的交叉“+”；或斜线的交叉“x”(对角线交叉)。适当的，(中空)平行四边形是以下各项之一：正方形；矩形；或者菱形形状。适当地，(中空)平行四边形围绕或包围位于中心的第一样本。可选地，其值用于确定或作为一个或多个(或该)非线性函数中的变量的邻近样本被布置成第一样本在中心处的如下形状：垂直线“|”；水平线“-”；从左上到右下的对角/斜线“\”；或者从右上到左下的对角线/斜线“/”。可选地，值用于确定或作为一个或多个(或该)非线性函数中的变量的邻近样本布置成(中空)多边形的形状。适当地，(中空)多边形围绕或包围位于中心处的第一样本。可选地，值用于确定或作为一个或多个(或该)非线性函数中的变量的邻近样本被布置成上述形状的任意组合的形状。适当地，滤波器变量在两个或更多个邻近样本之间共用。适当地，相邻样本的布置形状具有关于中心的对称。适当地，交叉形状、平行四边形形状或多边形形状具有关于中心的对称。可选地，邻近样本的布置形状不具有关于中心的对称。适当地，交叉形状或平行四边形形状不具有关于中心的对称。适当地，第一样本和多个邻近样本值中的邻近样本以如下形状排列：与第一样本在交叉点处交叉；或者平行四边形或中空平行四边形。适当地，第一样本值和多个邻近样本值中的邻近样本以如下的平行四边形的形状布置：当多个邻近样本值由24个邻近样本的样本值构成时，各个边长度为4个样本；或者，当多个邻近样本值由12个邻近样本的样本值构成时，各个边长度为3个样本。适当地，与第一样本在交叉点(和/或中心)处交叉是以下各项之一：垂直和水平线的交叉“+”；或斜线的交叉“x”(对角线交叉)。适当的，(中空)平行四边形是以下各项之一：正方形；矩形；或者菱形形状。适当地，(中空)平行四边形围绕或包围位于中心的第一样本。可选地，第一样本和多个邻近样本值中的邻近样本以第一样本位于中心布置为如下形状布置：垂直线“|”；水平线“-”；从左上到右下的对角线/斜线“\”；或从右上到左下的对角线/斜线“/”。可选地，第一样本和多个邻近样本值中的邻近样本布置成(中空)多边形的形状。适当地，(中空)多边形围绕或包围位于中心处的第一样本。可选地，第一样本和多个邻近样本值中的邻近样本以前述形状的任意组合的形状布置。适当地，滤波器变量在两个或更多个邻近样本之间共用。适当地，相邻样本的布置形状具有关于中心的对称。适当地，交叉形状、平行四边形形状或多边形形状具有关于中心的对称。可选地，邻近样本的布置形状不具有关于中心的对称。适当地，交叉形状、平行四边形形状或多边形形状不具有关于中心的对称。适当地，第一样本和所述邻近样本是亮度成分样本。可选地，第一样本和所述邻近样本是色度成分样本。适当地，该(或者一个或多个)非线性函数的变量还包括第一样本值，以及该(或者一个或多个)非线性函数被应用于第一样本值和一个或多个邻近样本值中的各个邻近样本值之间的差。适当地，该(或者一个或多个)非线性函数的变量还包括第一样本值和取决于一个或多个邻近样本的位置的一个或多个滤波器变量，各个滤波器变量对于两个或更多个邻近样本是相同的；并且该(或者一个或多个)非线性函数被应用于以下的差之和：该差为第一样本值与具有相同滤波器变量的两个或更多个邻近样本中的两个或更多个邻近样本值的各邻近样本值之间的两个或更多个差。适当地，该(或者一个或多个)非线性函数的输出被用作自适应环路滤波器的输入(或输入参数)。适当地，非线性函数包括一个或多个限幅函数，并且一个或多个限幅函数中的各个限幅函数是以下各项之一：max(-b,min(b,d))、min(b,max(-b,d))、max(c-b,min(c+b,n))、min(c+b,max(c-b,n))、max(-b,min(b,d1+d2))、min(b,max(-b,d1+d2))、max(2*c-b,min(2*c+b,n1+n2))或min(2*c+b,max(2*c-b,n1+n2))，其中c是第一样本值，n或n1或n2是邻近样本值，d＝n-c，d1＝n1-c，d2＝n2-c，以及b是限幅参数。

17、根据本发明的第十三方面，提供处理图像的一个或多个部分的方法，图像部分具有与其相关联的色度样本和亮度样本，其中所述方法包括基于从位流获得的信息或者第一样本值及其一个或多个邻近样本值，确定以下各项至少之一：使用或不使用利用第十二方面的方法控制的滤波器；启用或禁用所述滤波器的使用；或者在滤波第一样本值时与所述滤波器一起使用的滤波参数或滤波器变量。适当地，从位流获得的信息包括针对亮度或色度成分之一提供的标志，该标志指示该成分的以下各项至少之一：使用或不使用利用第十二方面的方法控制的滤波器；或者启用或禁用所述滤波器的使用。适当地，在自适应参数集中提供标志。适当地，从位流获得的信息包括针对一个或多个图像部分提供的标志，该标志指示针对一个或多个图像部分的以下各项至少之一：使用或不使用利用第十二方面的方法控制的滤波器；或者启用或禁用所述滤波器的使用。适当地，在自适应参数集中提供标志。

18、根据本发明的第十四方面，提供对一个或多个图像进行编码的方法，该方法包括，针对图像的一个或多个部分，根据第十二方面的方法控制滤波器，或根据第十三方面的方法进行处理。适当地，该方法还包括：接收图像；对所接收的图像进行编码并生成位流；以及处理编码图像，其中处理包括根据第十二方面的方法进行控制或根据第十三方面的方法进行处理。适当地，该方法(当从属于第十三方面时)还包括在位流中提供所述信息。适当地，非线性函数包括一个或多个限幅函数；该(或者一个或多个)非线性函数的变量还包括取决于值被用作该(或者一个或多个)非线性函数中的变量的一个或多个邻近样本的位置的一个或多个滤波器变量；提供所述信息包括在位流中提供一个或多个限幅参数；以及当针对位置的滤波器变量为零时，在位流中不提供与应用于该位置处的邻近样本的邻近样本值的限幅函数一起使用的限幅参数。适当地，该方法还包括：从多个可用函数中选择非线性函数或者一个或多个限幅函数；在处理编码图像时使用所选择的函数；以及在位流中提供用于识别所选择的函数的信息。

19、根据本发明的第十五方面，提供对一个或多个图像进行解码的方法，该方法包括，针对图像的一个或多个部分，根据第十二方面的方法控制滤波器，或者根据第十三方面的方法进行处理。适当地，该方法还包括：接收位流；解码来自所接收的位流的信息以获得图像；以及处理所获得的图像，其中处理包括根据第十二方面的方法进行控制，或者根据第十三方面的方法进行处理。适当地，该方法(当从属于第十三方面时)还包括从位流获得所述信息。适当地，非线性函数包括一个或多个限幅函数；该(或者一个或多个)非线性函数的变量还包括取决于值被用作该(或者一个或多个)非线性函数中的变量的一个或多个邻近样本的位置的一个或多个滤波器变量；以及当用于一个位置的滤波器变量为零时，限幅函数不应用于该位置处的邻近样本的邻近样本值。适当地，该方法还包括：从位流获得用于从多个可用函数识别非线性函数或者一个或多个限幅函数的信息；以及在处理所获得的图像时使用所识别的函数。

20、根据本发明的第十六方面，提供一种装置，该装置包括：控制器，其被配置为进行第十二方面或第十三方面的方法；编码器，其被配置为进行第十四方面的方法；或者解码器，其被配置为进行第十五方面的方法。

21、根据本发明的第十七方面，提供一种用于针对图像的一个或多个部分控制滤波器的装置，所述装置包括控制器，所述控制器被配置为进行第十二方面或第十三方面的方法。

22、根据本发明的第十八方面，提供一种用于对图像进行编码的装置，该装置包括第十七方面的控制装置。适当地，该装置被配置为进行第十四方面的方法。

23、根据本发明的第十九方面，提供一种用于对图像进行解码的装置，该装置包括第十七方面的控制装置。适当地，该装置被配置为进行第十五方面的方法。

24、根据本发明的第二十方面，提供当在计算机或处理器上运行时使计算机或处理器执行根据第一方面、第二方面、第三方面、第四方面、第五方面、第六方面、第七方面、第八方面、第十二方面、第十三方面、第十四方面或第十五方面的方法的程序。

25、根据本发明的第二十一方面，提供一种存储根据第二十方面的计算机程序的计算机可读存储介质。

26、根据本发明的第二十二方面，提供一种信号，该信号携带用于使用根据第七方面或第十四方面的方法编码的并由位流表示的图像的信息数据集，图像包括可重建样本集合，各个可重建样本具有样本值，其中信息数据集包括用于基于第一可重建样本的邻近样本的样本值来控制对第一可重建样本的滤波的控制数据。

27、对于本发明的上述方面，可以根据其实施例提供以下特征。适当地，非线性函数包括限幅函数、锯齿核函数、三角核函数或高斯核函数中的一个或多个。适当地，非线性函数包括一个或多个限幅函数，并且一个或多个限幅函数中的各个限幅函数是以下各项之一：max(-b,min(b,d))、min(b,max(-b,d))、max(c-b,min(c+b,n))、min(c+b,max(c-b,n))、max(-b,min(b,d1+d2))、min(b,max(-b,d1+d2))、max(2*c-b,min(2*c+b,n1+n2))或min(2*c+b,max(2*c-b,n1+n2))，其中c是第一样本值，n或n1或n2是邻近样本值，d＝n-c，d1＝n1-c，d2＝n2-c，以及b是限幅参数。适当地，(多个)变量是(数学)非线性函数的自变量，非线性函数的输出是其因变量。适当地，邻近样本的位置被定义为与第一样本的位置的相对距离或相对位移。适当地，邻近样本的位置被定义为其在(光栅)扫描顺序中的位置(适当地，在(光栅)扫描顺序中相对于第一样本的位置)。适当地，自适应环路滤波器使用非线性函数进行滤波。适当地，非线性函数的输出被用作自适应环路滤波器的输入(或输入参数)。适当地，对一个或多个这样的输入(参数)应用自适应环路滤波器包括使用以一个或多个输入(参数)作为其变量的线性函数。适当地，自适应环路滤波器如vtm3.0中所指定。

28、本发明的又一方面涉及当由计算机或处理器执行时使计算机或处理器执行上述方面的任何方法的程序。该程序可以是单独提供的，或者可以是在载体介质上、通过载体介质或在载体介质中携带的。载体介质可以是非暂时性的，例如存储介质，特别是计算机可读存储介质。载体介质也可以是暂时的，例如信号或其它传输介质。该信号可以经由包括因特网的任何合适的网络传送。

29、本发明的又一方面涉及包括根据前述装置方面中的任一个的装置的照相机。根据本发明的又一方面，提供一种移动装置，该移动装置包括根据前述装置方面中的任一个的装置和/或体现上述照相机方面的照相机。

30、本发明的一个方面中的任何特征可以以任何适当的组合应用于本发明的其它方面。特别地，方法方面可应用于设备方面，反之亦然。此外，在硬件中实现的特征可以在软件中实现，反之亦然。这里对软件和硬件特征的任何引用都应相应地解释。这里描述的任何设备特征也可以提供为方法特征，反之亦然。如这里所使用的，装置加功能特征可以根据它们的相应结构来替代地表示，诸如适当编程的处理器和相关联的存储器等。还应当理解，可以独立地实现和/或提供和/或使用在本发明的任何方面中描述和限定的各种特征的特定组合。