一种视频超分辨率处理方法及相关装置与流程

本技术涉及视频处理，尤其涉及一种视频超分辨率处理方法及相关装置。

背景技术：

1、近年来，随着科技的发展，视频已经成为人们生活中越来越重要的信息载体。然而，受到硬件设备和流量带宽的限制，高分辨率的视频普及程度仍然有限。视频超分辨率技术是一种提高视频分辨率的技术，即，能根据低分辨率视频重建出对应的高分辨率视频的技术。

2、视频超分辨率的意义在于：其一，提升视觉体验，通过提高视频的分辨率，可以使观众在高清晰度的屏幕上观看视频时获得更清晰、细节更丰富的视觉体验；其二，提升监控领域的安全性，在监控领域，高分辨率视频能够提供更清晰的图像，有助于识别和跟踪目标对象，增强安全性能；其三，提高视频编辑和后期制作效率，在视频编辑和后期制作过程中，有时需要将低分辨率素材提升至高分辨率以满足特定需求，视频超分辨率技术可以帮助编辑人员更轻松地完成这些任务；其四，提升视频传输和存储效率，在视频传输和存储领域，高分辨率视频通常会占用更多的带宽和存储空间，而通过视频超分辨率技术可以在不增加数据量的情况下提升视频质量，从而节省传输和存储成本。

3、目前，出于处理效果的考虑，通常采用较为复杂的超分辨率算法对待处理的低分辨率视频帧进行处理，比如，预先利用低分辨率图像和对应的高分辨率图像训练得到超分辨率模型（复杂模型），在训练得到超分辨率模型后，将待处理的低分辨率视频帧输入训练得到的超分辨率模型中，得到超分辨率模型输出的高分辨率视频帧。基于目前的视频超分辨率方案虽然可以获得低分辨率视频帧对应的高分辨率视频帧，但是，该方案对于计算资源的消耗较大。

技术实现思路

1、有鉴于此，本技术提供了一种视频超分辨率处理方法及相关装置，用以解决目前的视频超分辨率处理方法对于计算资源的消耗较大的问题，其技术方案如下：

2、本技术第一方面提供一种视频超分辨率处理方法，包括：

3、对目标视频帧进行分块处理，得到多个图像块，其中，所述目标视频帧为目标视频中待处理的视频帧；

4、确定每个图像块是否包含复杂纹理；

5、采用第一超分辨率算法对不包含复杂纹理的图像块进行超分辨率处理，并采用第二超分辨率算法对包含复杂纹理的图像块进行超分辨率处理，得到所述多个图像块的超分辨率处理结果，其中，所述第一超分辨率算法的复杂度低于所述第二超分辨率算法的复杂度，所述第二超分辨率算法的处理效果优于所述第一超分辨率算法的处理效果；

6、根据所述多个图像块的超分辨率处理结果，获得所述目标视频帧的超分辨率处理结果。

7、在一种可能的实现方式中，所述采用第一超分辨率算法对不包含复杂纹理的图像块进行超分辨率处理，并采用第二超分辨率算法对包含复杂纹理的图像块进行超分辨率处理，包括：

8、采用基于插值的超分辨率算法或者基于深度学习的第一超分辨率算法，对不包含复杂纹理的图像块进行超分辨率处理；

9、采用基于深度学习的第二超分辨率算法，对包含复杂纹理的图像块进行超分辨率处理；

10、其中，所述基于深度学习的第一超分辨率算法的复杂度低于所述基于深度学习的第二超分辨率算法的复杂度，所述基于深度学习的第二超分辨率算法的处理效果优于所述基于深度学习的第一超分辨率算法的处理效果。

11、在一种可能的实现方式中，所述采用基于插值的超分辨率算法或者基于深度学习的第一超分辨率算法，对不包含复杂纹理的图像块进行超分辨率处理，包括：

12、针对不包含复杂纹理的每个图像块：

13、若该图像块为静止图像块，则对该图像块进行插值处理，或者将该图像块输入预先训练得到的第一超分辨率模型进行处理，得到该图像块的超分辨率处理结果；计算该图像块的超分辨率处理结果与参考图像块的超分辨率处理结果的均值，得到的均值作为该图像块最终的超分辨率处理结果；其中，所述静止图像块为不包含运动目标的图像块，所述参考图像块为所述目标视频帧之前的视频帧中与该图像块同位置的图像块；

14、若该图像块为运动图像块，则对该图像块进行插值处理，或者将该图像块输入预先训练得到的第一超分辨率模型进行处理，得到该图像块的超分辨率处理结果；其中，所述运动图像块为包含运动目标的图像块。

15、在一种可能的实现方式中，所述采用基于深度学习的第二超分辨率算法，对包含复杂纹理的图像块进行超分辨率处理，包括：

16、针对包含复杂纹理的每个图像块：

17、若该图像块为静止图像块，则从所述目标视频帧的前一视频帧中获取与该图像块同位置的图像块，将所述同位置的图像块或者所述同位置的图像块的超分辨率处理结果作为第一参考图像块；利用预先训练得到的第二超分辨率模型，同时参考所述第一参考图像块，对该图像块进行超分辨率处理；其中，所述静止图像块为不包含运动目标的图像块；

18、若该图像块为运动图像块，则从所述目标视频帧的前一视频帧中寻找该图像块的匹配图像块，将所述匹配图像块或者所述匹配图像块的超分辨率处理结果作为第二参考图像块；利用预先训练得到的第二超分辨率模型，同时参考所述第二参考图像块，对该图像块进行超分辨率处理；其中，所述运动图像块为包含运动目标的图像块。

19、在一种可能的实现方式中，所述利用预先训练得到的第二超分辨率模型，同时参考所述第二参考图像块，对该图像块进行超分辨率处理，包括：

20、对该图像块进行扩展，得到该图像块的扩展后图像块，其中，该图像块的扩展后图像块包括该图像块以及所述目标视频帧中该图像块的周边图像区域；

21、将该图像块的扩展后图像块和所述第二参考图像块输入预先训练得到的第二超分辨率模型，得到该图像块的扩展后图像块的超分辨处理结果；

22、从该图像块的扩展后图像块的超分辨处理结果中提取出该图像块的超分辨率处理结果。

23、在一种可能的实现方式中，所述根据所述多个图像块的超分辨率处理结果，获得所述目标视频帧的超分辨率处理结果，包括：

24、将所述多个图像块的超分辨率处理结果拼接，得到拼接图像；

25、消除所述拼接图像中的区块边界线，得到所述目标视频帧的超分辨率处理结果。

26、在一种可能的实现方式中，所述消除所述拼接图像中的区块边界线，包括：

27、遍历所述拼接图像中采用基于深度学习的超分辨率算法获得的图像块：

28、若当前遍历到的图像块与当前遍历到的图像块的相邻图像块采用不同的超分辨率算法获得，则对当前遍历到的图像块与所述相邻图像块拼接处的区块边界进行融合。

29、在一种可能的实现方式中，所述对当前遍历到的图像块与所述相邻图像块拼接处的区块边界进行融合，包括：

30、采用去块滤波算法对当前遍历到的图像块与所述相邻图像块拼接处的区块边界进行融合；

31、其中，若当前遍历到的图像块和所述相邻图像块中有至少一个图像块包含复杂纹理，则所述滤波算法的滤波系数采用第一滤波系数，若当前遍历到的图像块和所述相邻图像块均不包含复杂纹理，则所述滤波算法的滤波系数采用第二滤波系数，所述第一滤波系数小于所述第二滤波系数。

32、在一种可能的实现方式中，所述对当前遍历到的图像块与所述相邻图像块拼接处的区块边界进行融合，包括：

33、获取采用基于深度学习的超分辨率算法获得当前遍历到的图像块时产生的中间特征，作为第一中间特征；

34、基于轻量化的第一边界融合模型，对当前遍历到的图像块的相邻图像块提取特征，以得到第二中间特征；

35、基于轻量化的第一边界融合模型，将所述第一中间特征与所述第二中间特征拼接，得到第一拼接后特征；

36、以所述第一拼接后特征为依据，基于所述第一边界融合模型，获得当前遍历到的图像块与所述相邻图像块拼接处的区块边界融合结果。

37、在一种可能的实现方式中，所述对当前遍历到的图像块与所述相邻图像块拼接处的区块边界进行融合，包括：

38、从当前遍历到的图像块中截取与所述相邻图像块相邻的边界区域，得到第一边界区域，并从所述相邻图像块中截取与当前遍历到的图像块相邻的边界区域，得到第二边界区域；

39、基于轻量化的第二边界融合模型，分别对所述第一边界区域和所述第二边界区域提取特征，并将提取的两个特征拼接，得到第二拼接后特征；

40、以所述第二拼接后特征为依据，基于所述第二边界融合模型，获得当前遍历到的图像块与所述相邻图像块拼接处的区块边界融合结果。

41、本技术第二方面提供一种视频超分辨率处理装置，包括：分块处理模块、纹理复杂性确定模块、第一超分辨率处理模块、第二超分辨率处理模块和超分辨率处理结果获取模块；

42、所述分块处理模块，用于对目标视频帧进行分块处理，得到多个图像块，其中，所述目标视频帧为目标视频中待处理的视频帧；

43、所述纹理复杂性确定模块，用于确定每个图像块是否包含复杂纹理；

44、所述第一超分辨率处理模块，用于采用第一超分辨率算法对不包含复杂纹理的图像块进行超分辨率处理；

45、所述第二超分辨率处理模块，用于采用第二超分辨率算法对包含复杂纹理的图像块进行超分辨率处理，其中，所述第一超分辨率算法的复杂度低于所述第二超分辨率算法的复杂度，所述第二超分辨率算法的处理效果优于所述第一超分辨率算法的处理效果；

46、所述超分辨率处理结果获取模块，用于根据所述多个图像块的超分辨率处理结果，获得所述目标视频帧的超分辨率处理结果。

47、本技术第三方面提供一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：

48、所述存储器用于存储计算机程序；

49、所述处理器用于执行所述计算机程序，以使所述电子设备能够实现上述任意一项所述的视频超分辨率处理方法。

50、本技术第四方面提供一种计算机存储介质，所述存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被电子设备执行时，能够使所述电子设备实现上述任意一项所述的视频超分辨率处理方法。

51、本技术第五方面提供一种计算机程序产品，包括计算机可读指令，当所述计算机可读指令在电子设备上运行时，使得所述电子设备实现上述任意一项所述的视频超分辨率处理训练方法。

52、借由上述技术方案，本技术提供的视频超分辨率处理方法，首先对目标视频帧进行分块处理，得到多个图像块，然后确定每个图像块是否包含复杂纹理，接着采用第一超分辨率算法对不包含复杂纹理的图像块进行超分辨率处理，并采用第二超分辨率算法对包含复杂纹理的图像块进行超分辨率处理，以得到多个图像块的超分辨率处理结果，最后根据多个图像块的超分辨率处理结果，获得目标视频帧的超分辨率处理结果。本技术提供的视频超分辨率处理方法并非直接对整个视频帧进行超分辨率处理，而是对视频帧进行分块，针对纹理复杂度不同的图像块采用不同的超分辨率处理策略进行处理，具体的，对于不包含复杂纹理的图像块，采用低复杂的超分辨率算法对其进行超分辨率处理，以节省计算资源，对于包含复杂纹理的图像块，投入更多的计算资源，采用高复杂的超分辨率算法对其进行超分辨率处理，本技术提供的视频超分辨率处理方法能够在保证整体图像质量的同时减少不必要的计算开销。