一种帧间预测方法及装置与流程
- 国知局
- 2024-09-14 14:31:37
本技术涉及视频图像处理,特别涉及一种帧间预测方法及装置。
背景技术:
1、数字视频能力可并入到多种多样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术,例如,在由mpeg-2、mpeg-4、itu-t h.263、itu-th.264/mpeg-4第10部分高级视频编码(avc)定义的标准、视频编码标准h.265/高效视频编码(hevc)标准以及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
2、视频压缩技术执行空间(图像内)预测和/或时间(图像间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频编码,视频条带(即,视频帧或视频帧的一部分)可分割成若干图像块,所述图像块也可被称作树块、编码单元(coding unit,cu)和/或编码节点。使用关于同一图像中的相邻块中的参考样本的空间预测来编码图像的待帧内编码(i)条带中的图像块。图像的待帧间编码(p或b)条带中的图像块可使用相对于同一图像中的相邻块中的参考样本的空间预测或相对于其它参考图像中的参考样本的时间预测。图像可被称作帧,且参考图像可被称作参考帧。
3、目前,融合(merge)技术是一种帧间预测技术,通过构建候选运动矢量列表,将列表中率失真(rate-distortion,rd)代价最小的运动信息确定为当前块的运动矢量预测值(motion vector predictor,mvp)。如果当前图像块使用融合技术进行帧间预测,则需要选择一种融合模式来获取帧间预测参数,以对当前图像块进行帧间预测,融合模式可以包括:传统的融合模式、融合运动矢量差(merge with motion vector difference,mmvd)模式、子块融合模式(sub-block merge mode,sbmm)、联合帧内预测模式和帧间预测模式(combined inter and intra prediction,ciip)、三角预测单元模式(triangleprediction unit mode,tpm)中的一个或者多个。在融合数据(merge data)的语法解析过程中,须要依次判断最终会使用哪一种或者哪几种融合模式对当前图像块进行帧间预测,如此,就会存在解析冗余,导致解码的复杂度较高,且在某些情况下解码效率较低。
技术实现思路
1、本技术提供了一种帧间预测方法及装置,在一定程度上降低解码的复杂度,提升解码效率。
2、第一方面,本技术提供了一种帧间预测方法,可以应用于视频解码器中。该方法可以包括:在确定对当前图像块使用融合模式进行帧间预测后,确定当前图像块是否允许使用k个备选融合模式中的各个融合模式,k为大于或者等于2的正整数;在当前图像块允许使用当前融合模式,且当前图像块允许使用k个备选融合模式中除当前融合模式外的融合模式的情况下,从码流中解析获得当前融合模式的第一标识的值;在第一标识的值指示当前图像块进行帧间预测的融合模式为当前融合模式的情况下,使用当前融合模式对当前图像块进行帧间预测,以得到当前图像块的预测块。
3、在本技术中,上述第二标识用于指示当前图像块是否使用对应的融合模式。第一标识可以包括且不限于:regular_merge_flag、mmvd_merge_flag、merge_subblock_flag、ciip_flag、merge_triangle_flag等标识中的一种或者多种。
4、其中,merge_triangle_flag也可以是mergetriangleflag。
5、在本技术中,在解码器确定当前图像块使用融合模式进行帧间预测的前提下,如果当前图像块允许使用当前融合模式,且当前图像块允许使用k个备选融合模式中除当前融合模式外的融合模式,则解码器根据码流中解析获得的当前图像块的第一标识的值的指示,使用当前融合模式对当前图像块进行帧间预测,以得到当前图像块的预测块,而无需再解析k个备选融合模式中除当前融合模式外的各个融合模式的第一标识的值,由此去除了融合语法元素的解析冗余,在一定程度上降低解码的复杂度,提升解码效率。
6、基于第一方面,在一些可能的实施方式中,方法还包括:在当前图像块不允许使用k个备选融合模式除当前融合模式外的融合模式的情况下,使用当前融合模式对当前图像块进行帧间预测,以得到当前图像块的预测块。
7、基于第一方面,在一些可能的实施方式中,确定当前图像块是否允许使用k个备选融合模式中的各个融合模式,包括:获取当前图像块对应的预测参数;根据预测参数,确定当前图像块是否允许使用各个融合模式;其中,预测参数包括以下一个或者多个:与当前图像块相关的上级视频处理单元的语法元素的指示、当前图像块的尺寸、用于指示当前图像块是否具有残差的指示信息、上级视频处理单元的类型。
8、基于第一方面,在一些可能的实施方式中,上级视频处理单元包括当前图像块所在片、当前图像块所在片组、当前图像块所在图像或者当前图像块所在视频序列。
9、基于第一方面,在一些可能的实施方式中,在当前图像块允许使用当前融合模式,且当前图像块允许使用k个备选融合模式中除当前融合模式外的融合模式的情况下,从码流中解析获得当前融合模式的第一标识的值,包括:在当前图像块允许使用mmvd模式、sbmm、ciip模式、tpm中的至少一种的情况下,从码流中解析获得传统的融合模式的regular_merge_flag的值;其中,regular_merge_flag为传统的融合模式的第一标识。
10、基于第一方面,在一些可能的实施方式中,在当前图像块允许使用当前融合模式,且当前图像块允许使用k个备选融合模式中除当前融合模式外的融合模式的情况下,从码流中解析获得当前融合模式的第一标识的值,包括:在当前图像块允许使用mmvd模式,且当前图像块允许使用sbmm、ciip模式、tpm中的至少一种的情况下,从码流中解析获得mmvd模式的mmvd_merge_flag的值;其中,mmvd_merge_flag为mmvd模式的第一标识。
11、基于第一方面,在一些可能的实施方式中,在当前图像块允许使用当前融合模式,且当前图像块允许使用k个备选融合模式中除当前融合模式外的融合模式的情况下,从码流中解析获得当前融合模式的第一标识的值,包括:在当前图像块允许使用sbmm模式,且当前图像块允许使用ciip模式和/或tpm的情况下,从码流中解析获得sbmm的merge_subblock_flag的值;其中,merge_subblock_flag为sbmm的第一标识。
12、基于第一方面,在一些可能的实施方式中,在当前图像块允许使用当前融合模式,且当前图像块允许使用k个备选融合模式中除当前融合模式外的融合模式的情况下,从码流中解析获得当前融合模式的第一标识的值,包括:在当前图像块允许使用ciip模式和tpm的情况下,从码流中解析获得ciip模式的ciip_flag的值;其中,ciip_flag为ciip模式的第一标识。
13、基于第一方面,在一些可能的实施方式中,方法还包括:当当前图像块不允许使用当前融合模式,或者当前图像块不允许使用k个备选融合模式中除当前融合模式外的融合模式时,通过推导获得当前融合模式的第一标识的值。
14、基于第一方面,在一些可能的实施方式中,方法还包括:当无法从码流中解析获得当前融合模式的第一标识的值时,通过推导获得当前融合模式的第一标识的值。
15、基于第一方面,在一些可能的实施方式中,当前融合模式为传统的融合模式,通过推导获得当前融合模式的第一标识的值,包括:将general_merge_flag设置为regular_merge_flag的值;或者,将regular_merge_flag的值设置为第一值;其中,general_merge_flag用于指示当前图像块的帧间预测参数是否由相邻的帧间预测块获取得到,regular_merge_flag为传统的融合模式的第一标识。
16、基于第一方面,在一些可能的实施方式中,当前融合模式为mmvd模式,在满足第一推导条件的情况下,将mmvd模式的第一标识mmvd_merge_flag的值设置为第一值;其中,第一推导条件包括:当前图像块允许使用mmvd模式。
17、基于第一方面,在一些可能的实施方式中,当前融合模式为sbmm,通过推导获得当前融合模式的第一标识的值,包括:在满足第二推导条件的情况下,将sbmm的第一标识merge_subblock_flag的值设置为第一值;其中,第二推导条件包括:当前图像块允许使用sbmm。
18、基于第一方面,在一些可能的实施方式中,当前融合模式为ciip模式,通过推导获得当前融合模式的第一标识的值,包括:在满足第三推导条件的情况下,将ciip模式的第一标识ciip_flag的值设置为第一值;其中,第三推导条件包括:当前图像块允许使用ciip模式。
19、基于第一方面,在一些可能的实施方式中,当前融合模式为tpm,通过推导获得当前融合模式的第一标识的值,包括:在满足第四推导条件的情况下,将tpm的第一标识merge_triangle_flag的值设置为第一值;其中,第四推导条件包括:当前图像块允许使用tpm。
20、其中,merge_triangle_flag也可以是mergetriangleflag。
21、基于第一方面,在一些可能的实施方式中,k个备选融合模式包括以下多个:传统的融合模式、mmvd模式、sbmm、ciip模式、tpm。
22、第二方面,本技术提供了一种帧间预测装置,可以应用于视频解码器中。该装置可以包括:确定模块,用于在确定对当前图像块使用融合模式进行帧间预测后,确定当前图像块是否允许使用k个备选融合模式中的各个融合模式,k为大于或者等于2的正整数;解析模块,用于在当前图像块允许使用当前融合模式,且当前图像块允许使用k个备选融合模式中除当前融合模式外的融合模式的情况下,从码流中解析获得当前融合模式的第一标识的值;预测模块,用于在第一标识的值指示当前图像块进行帧间预测的融合模式为当前融合模式的情况下,使用当前融合模式对当前图像块进行帧间预测,以得到当前图像块的预测块。
23、基于第二方面,在一些可能的实施方式中,预测模块,还用于在当前图像块不允许使用k个备选融合模式除当前融合模式外的融合模式的情况下,使用当前融合模式对当前图像块进行帧间预测,以得到当前图像块的预测块。
24、基于第二方面,在一些可能的实施方式中,确定模块,用于获取当前图像块对应的预测参数;根据预测参数,确定当前图像块是否允许使用各个融合模式;其中,预测参数包括以下一个或者多个:与当前图像块相关的上级视频处理单元的语法元素的指示、当前图像块的尺寸、用于指示当前图像块是否具有残差的指示信息、上级视频处理单元的类型。
25、基于第二方面,在一些可能的实施方式中,上级视频处理单元包括当前图像块所在片、当前图像块所在片组、当前图像块所在图像或者当前图像块所在视频序列。
26、基于第二方面,在一些可能的实施方式中,解析模块,用于在当前图像块允许使用mmvd模式、sbmm、ciip模式、tpm中的至少一种的情况下,从码流中解析获得传统的融合模式的regular_merge_flag的值;其中,regular_merge_flag为传统的融合模式的第一标识。
27、基于第二方面,在一些可能的实施方式中,解析模块,用于在当前图像块允许使用mmvd模式,且当前图像块允许使用sbmm、ciip模式、tpm中的至少一种的情况下,从码流中解析获得mmvd模式的mmvd_merge_flag的值;其中,mmvd_merge_flag为mmvd模式的第一标识。
28、基于第二方面,在一些可能的实施方式中,解析模块,用于在当前图像块允许使用sbmm模式,且当前图像块允许使用ciip模式和/或tpm的情况下,从码流中解析获得sbmm的merge_subblock_flag的值;其中,merge_subblock_flag为sbmm的第一标识。
29、基于第二方面,在一些可能的实施方式中,解析模块,用于在当前图像块允许使用ciip模式和tpm的情况下,从码流中解析获得ciip模式的ciip_flag的值;其中,ciip_flag为ciip模式的第一标识。
30、基于第二方面,在一些可能的实施方式中,装置还包括:推导模块,用于当当前图像块不允许使用当前融合模式,或者当前图像块不允许使用k个备选融合模式中除当前融合模式外的融合模式时,通过推导获得当前融合模式的第一标识的值。
31、基于第二方面,在一些可能的实施方式中,装置还包括:推导模块,用于当无法从码流中解析获得当前融合模式的第一标识的值时,通过推导获得当前融合模式的第一标识的值。
32、基于第二方面,在一些可能的实施方式中,当前融合模式为传统的融合模式,推导模块,用于将general_merge_flag设置为regular_merge_flag的值;或者,将regular_merge_flag的值设置为第一值;其中,general_merge_flag用于指示当前图像块的帧间预测参数是否由相邻的帧间预测块获取得到,regular_merge_flag为传统的融合模式的第一标识。
33、基于第二方面,在一些可能的实施方式中,当前融合模式为mmvd模式,推导模块,用于在满足第一推导条件的情况下,将mmvd模式的第一标识mmvd_merge_flag的值设置为第一值;其中,第一推导条件包括:当前图像块允许使用mmvd模式。
34、基于第二方面,在一些可能的实施方式中,当前融合模式为sbmm时,推导模块,用于在满足第二推导条件的情况下,将sbmm的第一标识merge_subblock_flag的值设置为第一值;其中,第二推导条件包括:当前图像块允许使用sbmm。
35、基于第二方面,在一些可能的实施方式中,当前融合模式为ciip模式,推导模块,用于在满足第三推导条件的情况下,将ciip模式的第一标识ciip_flag的值设置为第一值;其中,第三推导条件包括:当前图像块允许使用ciip模式。
36、基于第二方面,在一些可能的实施方式中,当前融合模式为tpm模式,推导模块,用于在满足第四推导条件的情况下,将tpm的第一标识merge_triangle_flag的值设置为第一值;其中,第四推导条件包括:当前图像块允许使用tpm。
37、基于第二方面,在一些可能的实施方式中,k个备选融合模式包括以下多个:传统的融合模式、mmvd模式、sbmm、ciip模式、tpm。
38、第三方面,本技术提供一种视频解码器,视频解码器用于从码流中解码出图像块,包括:熵解码模块,用于从码流中解码出索引标识,索引标识用于指示当前解码图像块的目标候选运动信息;如上述第二方面中任一项的帧间预测装置,帧间预测装置用于基于索引标识指示的目标候选运动信息预测当前解码图像块的运动信息,基于当前解码图像块的运动信息确定当前解码图像块的预测像素值;重建模块,用于基于预测像素值重建当前解码图像块。
39、第四方面,本技术提供一种用于解码视频数据的设备,所述设备包括:存储器,用于存储码流形式的视频数据;视频解码器,用于从码流中解码出所述视频数据。
40、第五方面,本技术提供一种解码设备,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行第一方面的任意一种方法的部分或全部步骤。
41、第六方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。
42、第七方面,本技术提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
43、应当理解的是,本技术的第二至七方面与本技术的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
本文地址:https://www.jishuxx.com/zhuanli/20240914/294565.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表