用于视频编解码中的自适应环路滤波器的使用不同源的扩展抽头的制作方法

本专利文档涉及文件格式的数字音频视频媒体信息的生成、存储和使用。

背景技术：

1、数字视频占在互联网和其他数字通信网络上使用的最大的带宽。随着能够接收和显示视频的连接用户设备的数量的增加，数字视频使用的带宽需求有可能继续增长。

技术实现思路

1、第一方面涉及一种用于处理视频数据的方法，其包括：确定用于自适应环路滤波器(alf)的一个或多个扩展抽头；以及基于alf中的扩展抽头，执行视觉媒体数据与比特流之间的转换。

2、第二方面涉及一种用于处理视频数据的设备，包括：处理器；以及非暂时性存储器，存储器上存储有指令，这些指令在由处理器执行时使处理器执行前述方面所述的方法。

3、第三方面涉及一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，该计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可执行指令，该指令在由处理器执行时，使视频编解码设备执行前述任一方面的方法。

4、第四方面涉及一种非暂时性计算机可读记录介质，其存储比特流，比特流由视频处理设备执行方法生成，其中该方法包括：确定用于自适应环路滤波器(alf)的一个或多个扩展抽头；以及基于该确定生成比特流。

5、第五方面涉及一种用于存储视频的比特流的方法，包括：确定用于自适应环路滤波器(alf)的一个或多个扩展抽头；基于该确定生成比特流；以及将比特流存储在非暂时性计算机可读记录介质中。

6、为了清楚起见，前述实施例中的任一者都可与其他前述实施例中的一者或多者相结合以在本公开的范围内创建新的实施例。

7、根据下面结合附图和权利要求所取得的详细描述，可更清楚地理解这些和其他特征。

技术特征：

1.一种用于处理视频数据的方法，包括：

2.如权利要求1所述的方法，其中所述扩展抽头中的每一个，基于来自与当前样点在同一分量中在空间上不相邻的样点的输入，对所述当前样点进行滤波。

3.如权利要求1至2中任一项所述的方法，其中所述alf包括一个或多个扩展抽头和一个或多个空间抽头，其中所述空间抽头中的每一个，基于来自与所述当前样点位于所述同一分量中的空间相邻样点的输入，对所述当前样点进行滤波。

4.如权利要求1至3中任一项所述的方法，其中所述alf将所述扩展抽头和所述空间抽头应用于所述亮度分量和所有色度分量。

5.如权利要求1至4中任一项所述的方法，其中所述空间抽头采用菱形形状。

6.如权利要求1至5中任一项所述的方法，其中所述空间抽头采用从所述当前样点延伸的十字形和以所述当前样点为中心的正方形形状。

7.如权利要求6所述的方法，其中所述十字形包括四个臂，每个臂延伸达所述当前样点以外的六个样点的长度，并且其中所述正方形形状是5×5正方形。

8.如权利要求1至7中任一项所述的方法，其中所述扩展抽头采用菱形形状。

9.如权利要求1至8中任一项所述的方法，其中所述扩展抽头采用十字形。

10.如权利要求1至9中任一项所述的方法，其中所述扩展抽头从第一样点、第二样点和具有四个臂的十字形接收输入，每个臂围绕第三样点延伸一个样点，包括所述第三样点。

11.如权利要求1至10中任一项所述的方法，其中所述扩展抽头从第一样点、第二样点和以第三样点为中心的5×5菱形接收输入。

12.如权利要求1至11中任一项所述的方法，其中所述扩展抽头从第一样点和第二样点接收输入。

13.如权利要求1至12中任一项所述的方法，其中在所述比特流中信令通知第一语法元素以指示所述alf滤波器内部的所述一个或多个扩展抽头是否被启用。

14.如权利要求1至13中任一项所述的方法，其中所述第一语法元素通过一元码、截断一元码、定长码、指数哥伦布码、截断指数哥伦布码或其组合进行二进制化。

15.如权利要求1至14中任一项所述的方法，其中所述扩展抽头的系数包含在所述比特流中的自适应参数集(aps)中。

16.如权利要求1至15中任一项所述的方法，其中所述扩展抽头的限幅参数包含在所述比特流中的所述aps中。

17.如权利要求1至16中任一项所述的方法，其中所述扩展抽头从以下各项接收输入：参考图片列表0中的一个或多个参考图片、参考图片列表1中的一个或多个参考图片，或列表0和列表1两者中的一个或多个参考图片。

18.如权利要求1至17中任一项所述的方法，其中所述一个或多个扩展抽头仅从帧间编解码的条带接收输入，而不从帧内编解码的条带接收输入。

19.如权利要求1至18中任一项所述的方法，其中所述一个或多个扩展抽头根据以下时间层索引有条件地从所述先前编解码的帧接收输入：先前编解码的帧的时间层索引、当前帧的时间层索引或两者。

20.如权利要求1至19中任一项所述的方法，其中所述空间抽头应用在以当前样点为中心且不包括所述当前样点的9×9菱形中，并且其中所述扩展抽头应用在以第一参考帧中的第一样点为中心的5×5菱形和以第二参考帧中的第二样点为中心的5×5菱形中。

21.如权利要求1至20中任一项所述的方法，其中所述扩展抽头从alf的经离线训练的滤波器的中间结果接收输入。

22.如权利要求1至21中任一项所述的方法，其中所述扩展抽头从预定义滤波器的中间结果接收输入。

23.如权利要求1至22中任一项所述的方法，其中至少一个扩展抽头和至少一个空间抽头共存于一个alf滤波器内部，或者所述alf滤波器仅包括一个或多个空间抽头，或者所述alf滤波器仅包括一个或多个扩展抽头。

24.如权利要求1至23中任一项所述的方法，其中应用具有至少一个扩展抽头的滤波器以对不同的颜色分量进行滤波，或者仅应用具有至少一个扩展抽头的滤波器以对亮度分量进行滤波，或者仅应用具有至少一个扩展抽头的滤波器以对一个色度分量进行滤波，或者应用具有至少一个扩展抽头的滤波器以对两个色度分量进行滤波。

25.如权利要求1至24中任一项所述的方法，其中扩展抽头的系数对应于一个或多个输入，或者所述扩展抽头的所述系数仅对应于一个输入，或者所述扩展抽头的所述系数对应于n个输入。

26.如权利要求1至25中任一项所述的方法，其中滤波器的一个或多个扩展抽头与滤波器的一个或多个空间抽头的训练数据收集被联合执行，或者滤波器的一个或多个扩展抽头的所述训练数据收集被独立地执行，或者滤波器的一个或多个扩展抽头与滤波器的一个或多个空间抽头的系数被联合训练，或者滤波器的一个或多个扩展抽头的系数被独立地训练，或者滤波器的一个或多个扩展抽头与滤波器的一个或多个空间抽头的参数被联合推导，或者滤波器的一个或多个扩展抽头的参数被独立地推导。

27.如权利要求1至26中任一项所述的方法，其中具有至少一个扩展抽头的滤波器用于形成alf中的独立滤波器，或者具有至少一个扩展抽头的滤波器的训练数据收集被独立地执行，或者具有至少一个扩展抽头的滤波器的训练数据收集基于未经alf滤波的样点来执行，或者具有至少一个扩展抽头的滤波器的训练数据收集基于经alf滤波的样点来执行，或者具有至少一个扩展抽头的滤波器的系数被独立地训练，或者具有至少一个扩展抽头的滤波器的参数被独立地生成或推导。

28.如权利要求1至27中任一项所述的方法，其中滤波器包含与不同类型的抽头相对应的一个或多个形状，或者在滤波器内部，用于一个或多个空间抽头的形状不同于用于一个或多个扩展抽头的形状，或者在滤波器内部，用于一个或多个空间抽头的形状与用于一个或多个扩展抽头的形状相同，或者在滤波器内部，用于一个或多个空间抽头的滤波器形状使用不同形状，或者一个或多个空间抽头的所述滤波器形状是正方形形状，或者一个或多个空间抽头的所述滤波器形状是十字形，或者一个或多个空间抽头的滤波器形状是对称形状，或者用于一个或多个空间抽头的滤波器形状是非对称形状，或者一个或多个空间抽头的滤波器形状被即时确定、信令通知或推导。

29.如权利要求1至28中任一项所述的方法，其中用于一个或多个扩展抽头的所述滤波器形状是正方形形状、对称形状或非对称形状，或者用于一个或多个扩展抽头的所述滤波器形状被即时确定、信令通知或推导。

30.如权利要求1至29中任一项所述的方法，其中滤波器包含与不同类型的抽头相对应的一个或多个滤波器长度，或者在滤波器内部，用于一个或多个空间抽头的所述滤波器长度不同于用于一个或多个扩展抽头的所述滤波器长度，或者用于一个或多个空间抽头的所述滤波器长度与用于一个或多个扩展抽头的所述滤波器长度相同，或者在滤波器内部，用于一个或多个空间抽头的所述滤波器长度等于n，或者用于一个或多个空间抽头的所述滤波器长度被即时确定、信令通知或推导，或者用于一个或多个扩展抽头的所述滤波器长度等于n，或者用于一个或多个扩展抽头的所述滤波器长度被即时确定、信令通知或推导。

31.如权利要求1至30中任一项所述的方法，其中滤波器包含：具有菱形形状的20个空间抽头和具有菱形形状的5个扩展抽头，或者具有菱形形状的20个空间抽头和具有菱形形状的13个扩展抽头，或者具有十字形的20个空间抽头和具有菱形形状的5个扩展抽头，或者具有十字形的20个空间抽头和具有菱形形状的13个扩展抽头，或者20个空间抽头和7个扩展抽头，或者20个空间抽头和3个扩展抽头，或者20个空间抽头和7个扩展抽头，或者20个空间抽头和13个扩展抽头并具有2个输入，或者20个空间抽头和7个扩展抽头并具有2个输入，或者20个空间抽头和13个扩展抽头。

32.如权利要求1至31中任一项所述的方法，其中对包含至少一个扩展抽头的滤波器执行对称约束，或者对一个或多个空间抽头或对一个或多个扩展抽头执行几何对称约束，或者对一个或多个扩展抽头执行基于多输入的对称约束，或者单独地执行基于几何和多输入的对称约束，或者联合执行基于几何和多输入的对称约束。

33.如权利要求1至32中任一项所述的方法，其中具有一个或多个扩展抽头的滤波器具有多个输入，或者滤波器内部的扩展抽头的总数是基于所述形状、滤波器长度或对称约束联合推导的。

34.如权利要求1至33中任一项所述的方法，其中基于纹理信息、频带信息、滤波器的空间抽头的输入、滤波器的扩展抽头的输入、或其组合，对具有至少一个扩展抽头的滤波器进行分类。

35.如权利要求1至34中任一项所述的方法，其中纹理信息由梯度生成，或者纹理信息由方差生成，或者频带信息由一个或多个输入样点的强度生成。

36.如权利要求1至35中任一项所述的方法，其中通过算术编码、或通过用基于当前块的编码信息、相邻块的编码信息、或至少一个相邻块的滤波形状的上下文进行上下文编码、或通过旁路编码、或仅当扩展抽头可用时才通过有条件的信令通知、或通过基于至少一个相邻块的扩展抽头的开/关决策的预测编码、或针对不同颜色分量通过独立信令通知、或针对不同颜色分量通过共享信令通知、或针对第一颜色分量通过信令通知而针对第二颜色分量不通过信令通知，来对第一语法元素进行编码。

37.如权利要求1至36中任一项所述的方法，其中扩展抽头的类合并结果包含在aps中。

38.如权利要求1至37中任一项所述的方法，其中基于先前编解码的帧和运动信息对alf使用具有至少一个扩展抽头的滤波器，并且其中所述先前编解码的帧包括参考图片列表(rpl)或参考图片集(rps)中的参考帧、短期参考图片、长期参考图片或存储在解码图片缓存区(dpb)中的帧。

39.如权利要求1至38中任一项所述的方法，其中信令通知至少一个指示符以指示使用哪个先前编解码的帧或参考图片列表，并且其中根据rpl或rps中包括多少参考图片或者根据dpb中包括多少先前解码的图片来有条件地信令通知所述指示符。

40.如权利要求1至39中任一项所述的方法，其中待利用帧被即时确定，或者其中扩展抽头从dpb中的一个或多个先前编解码的帧获取信息，或者扩展抽头从最接近所述当前帧的参考帧获取信息，或者扩展抽头从参考列表中参考索引等于k的参考帧获取信息，其中k被预定义、根据参考图片信息推导或被信令通知，或者扩展抽头从共位帧获取信息，或者待利用帧由所述解码信息确定，或者待利用帧被定义为当前条带或帧内的样点的前n个最频繁使用的参考图片，或者待利用帧被定义为当前条带或帧内的样点的每个参考图片列表的前n个最频繁使用的参考图片，或者其中待利用帧被定义为相对于当前图片具有前n个最小图片顺序计数(poc)距离或绝对poc距离的图片。

41.如权利要求1至40中任一项所述的方法，其中是否从先前编解码的帧获取信息取决于待滤波块的至少一个区域的解码信息，或者是否从先前编解码的帧获取信息取决于条带或图片类型，或者是否从先前编解码的帧获取信息取决于参考图片的可用性，或者是否从先前编解码的帧获取信息取决于所述参考图片信息或所述dpb中的所述图片信息，或者当所述最小poc距离大于阈值时，禁止从先前编解码的帧获取信息，或者是否从先前编解码的帧获取信息适用于具有给定的时间层索引的块，或者当待滤波块包含以非帧间模式编码的样点的一部分时，所述扩展抽头不能使用来自先前编解码的帧的信息来对块进行滤波，或者非帧间模式被定义为帧内模式，或者非帧间模式被定义为包括帧内预测、帧内块复制(ibc)或调色板模式的一组编码模式，或者计算当前块与匹配块之间的失真并将所述失真用于决定是否从先前编解码的帧获取信息来对当前块进行滤波，或者使用先前编解码的帧中的共位块与当前块之间的失真来决定是否从先前编解码的帧获取信息来对当前块进行编码，或者首先使用运动估计从至少一个先前编解码的帧中找到匹配块，或者当所述失真大于预定义阈值时，不能使用来自先前编解码的帧的信息。

42.如权利要求1至41中任一项所述的方法，其中具有至少一个扩展抽头的滤波器的使用取决于当前块的运动信息和先前编解码的帧或条带中的重建样点以构建或生成参考块，或者参考块被定义为当前块的一个或多个参考块或共位块中的那些块，或者参考块被定义为运动矢量指向的区域中的那些块，或者运动矢量不同于与当前块相关联的解码的运动矢量，或者参考块是指中心与所述当前帧中的当前块的中心位于先前编解码的帧中的相同水平和垂直位置处的块，或者参考块通过运动估计推导，或者以整数精度执行运动估计以避免分数像素插值，或者以分数精度执行运动估计以提高参考块的质量，或者通过重新使用所述当前块中包含的至少一个运动矢量推导参考块，或者首先将所述运动矢量四舍五入到所述整数精度以避免分数像素插值，或者所述参考块通过将由所述运动矢量确定的偏移添加到所述当前块的位置来定位，或者所述运动矢量是指包含所述参考块的先前编解码的图像，或者所述运动矢量被缩放到包含所述参考块的所述先前编解码的图像，或者参考块或共位块与当前块的尺寸相同，或者参考块或共位块大于所述当前块，或者首先找到与当前块的尺寸相同的参考块或共位块，然后在每个边界处扩展所述参考块或共位块以包含来自先前编解码的样点的更多样点，或者扩展区域的尺寸被信令通知所述解码器或即时推导，或者所述信息包含当前块的两个参考块或共位块，其中一个来自列表0中的第一参考帧，并且另一个来自列表1中的第一参考帧。

43.如权利要求1至42中任一项所述的方法，其中具有至少一个扩展抽头的滤波器在不同的参考帧中使用不同设置，或者所述滤波器在不同的参考帧中使用不同形状，或者所述滤波器在不同的参考帧中使用不同的滤波器尺寸，或者所述滤波器以非对称方式设计，或者所述滤波器在参考帧之间以对称方式设计，或者扩展抽头的每个系数被不同的参考帧内部的输入样点共享。

44.如权利要求1至43中任一项所述的方法，其中所述滤波器在每个参考帧中以对称方式设计，或者扩展抽头的每个系数被一个参考帧内部的输入样点共享。

45.如权利要求1至44中任一项所述的方法，其中滤波器的中间滤波结果用作扩展抽头的输入，或者经在线训练的alf滤波器的中间滤波结果用作扩展抽头的输入，或者其他经在线训练的滤波器的中间滤波结果用作扩展抽头的输入。

46.如权利要求1至45中任一项所述的方法，其中当前帧的不同编解码阶段之前或之后的重建样点用作扩展抽头的输入，或者当前帧的去方块滤波器(dbf)之前或之后的重建用作扩展抽头的输入，或者当前帧的样点自适应偏移(sao)或跨分量sao(ccsao)之前或之后的重建用作扩展抽头的输入，或者当前帧的双边滤波器(bif)之前或之后的重建用作扩展抽头的输入，或者当前帧的其他阶段之前或之后的重建用作扩展抽头的输入。

47.如权利要求1至46中任一项所述的方法，其中参考帧的不同编解码阶段之前或之后的重建样点用作扩展抽头的输入，或者其中参考帧的dbf之前或之后的重建用作扩展抽头的输入，或者一个或多个参考帧的dbf之前或之后的重建用作扩展抽头的输入，或者一个或多个参考帧的sao或ccsao之前或之后的重建用作扩展抽头的输入，或者一个或多个参考帧的bif之前或之后的重建用作扩展抽头的输入，或者一个或多个参考帧的其他阶段之前或之后的重建用作扩展抽头的输入。

48.如权利要求1至47中任一项所述的方法，其中映射或变换结果用作扩展抽头的输入，或者离散余弦变换(dct)、快速傅里叶变换(fft)或离散小波变换(dwt)用于生成扩展抽头的输入，或者平方函数、方差函数、正弦函数、余弦函数、线性映射函数或非线性映射函数用于生成扩展抽头的输入。

49.如权利要求1至48中任一项所述的方法，其中扩展抽头使用当前帧的dbf之前的重建和重建的参考帧作为联合输入，或者扩展抽头使用当前帧的dbf之前的重建和参考帧的dbf之前的重建作为联合输入，或者扩展抽头使用当前帧的bdf之前的重建和参考帧的dbf之后的重建作为联合输入，或者扩展抽头使用参考帧的dbf之前的重建和重建的参考帧作为联合输入源，或者扩展抽头联合使用n个联合输入，或者具有至少一个扩展抽头的滤波器对不同输入使用不同设置，或者一个或多个扩展抽头对不同输入使用不同形状，或者一个或多个扩展抽头在一个输入中使用菱形形状而在另一输入中使用正方形形状，或者用于一个或多个扩展抽头的滤波器长度在不同输入中使用不同的滤波器尺寸，或者一个或多个扩展抽头以非对称方式设计，或者扩展抽头的每个系数具有一个特定输入，或者一个或多个扩展抽头在不同输入之间以对称方式设计，或者扩展抽头的每个系数被不同输入共享，或者一个或多个扩展抽头在不同输入内部以对称方式设计，或者扩展抽头的每个系数被特定输入内部的样点共享。

50.一种用于处理视频数据的装置，包括：处理器；以及存储有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器执行如权利要求1至49中任一项所述的方法。

51.一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，所述计算机程序产品包括存储在所述非暂时性计算机可读介质上的计算机可执行指令，使得在由处理器执行时使所述视频编解码设备执行如权利要求1至49中任一项所述的方法。

52.一种非暂时性计算机可读记录介质，其存储有通过视频处理设备执行的方法生成的视频的比特流，其中所述方法包括：

53.一种用于存储视频的比特流的方法，包括：

技术总结公开了一种用于处理视频数据的机制。确定用于自适应环路滤波器(ALF)的一个或多个扩展抽头。基于ALF中的扩展抽头执行视觉媒体数据与比特流之间的转换。扩展抽头可以从与当前图片不同的图片和/或从空间域之外接收输入数据。技术研发人员：尹文斌,张凯,张莉受保护的技术使用者：抖音视界有限公司技术研发日：技术公布日：2024/12/23