视频超分辨率重建方法、装置及电子设备与流程

本申请涉及图像处理，尤其涉及一种视频超分辨率重建方法、装置及电子设备。

背景技术：

1、视频超分辨率指的是从低分辨率视频中恢复高分辨率视频。虽然图像超分辨率方法通常一次处理一个图像，但视频超分辨率擅长通过逐帧处理来重建低分辨率视频，这通常被认为是图像超分辨率的扩展。在视频超分辨率中，低分辨率视频的帧被转换为高分辨率帧，以提高整体视频质量。

2、在视频超分辨率任务中，整合来自多帧的信息是一种常见的策略。这些信息的有效传播依赖于模型的空间交互能力，通常需要复杂的设计。然而，设计为考虑相邻帧和帧间间隙等因素的模型可能会引入失真等问题。

技术实现思路

1、本申请提供一种视频超分辨率重建方法、视频超分辨率重建装置及电子设备，能够降低视频重建时引入的失真问题，进而提高视频质量。

2、第一方面，本申请提供一种视频超分辨率重建方法，包括：

3、将待处理视频输入超分辨率模型，所述超分辨率模型包括特征提取模块，双向传播模块、图像重建模块；

4、通过所述特征提取模块提取所述待处理视频各帧的第一特征；

5、将各帧的第一特征输入所述双向传播模块中，所述双向传播模块包括第一传播层与第二传播层；第一传播层从不同帧的第一特征中提取第二特征，并依次向后传输，所述第一传播层结合当前帧的所述第一特征与前一帧的第二特征提取得到当前帧的第二特征；

6、第二传播层从所述第二特征中提取第三特征，并依次向前传输，所述第二传播层结合当前帧的第二特征与后一帧的第三特征得到当前帧的第三特征；

7、当前帧的第二特征还向前传输至第一目标帧，所述第一目标帧为所述当前帧之前间隔预设帧的帧；

8、当前帧的第三特征还向后传输至第二目标帧，所述第二目标帧为所述当前帧之后间隔所述预设帧的帧；

9、通过所述图像重建模块对各帧的所述第三特征进行重建，得到重建后的图像；

10、利用所述重建后的图像获得目标视频。

11、根据本实施例提供的视频超分辨率重建方法，通过双向传输特征的方式，增强了多帧传输过程中的空间信息交互，从而提高了信息聚合，能够使得重建的图像更加清晰，提高图像、视频的分辨率。

12、在一种示例性实施方式中，所述特征提取模块包括第一分支，或所述特征提取模块包括所述第一分支和第二分支，所述第一分支与所述第二分支不同；

13、所述通过所述特征提取模块提取所述待处理视频各帧的第一特征，包括：

14、将待处理视频的每帧图像转换为输入数据；

15、通过所述第一分支对所述输入数据进行特征提取，得到第一中间特征；

16、通过第二分支对所述输入数据进行特征提取，得到第二中间特征；

17、将第一中间特征与第二中间特征进行融合，得到第一特征。

18、在一种示例性实施方式中，所述第二分支包括线性投影层、一阶交互层、压缩层，所述通过第二分支对所述输入数据进行特征提取，得到第二中间特征包括：

19、通过线性投影层对输入数据进行投影，得到一阶投影特征；

20、通过一阶交互层对所述输入数据进行哈达玛卷积，得到一阶交互特征；

21、通过所述压缩层对所述输入数据进行压缩，得到一阶压缩特征；

22、将所述一阶投影特征、所述一阶交互特征以及所述一阶压缩特征进行融合，得到第二中间特征。

23、在一种示例性实施方式中，所述第二分支还包括多阶扩展层；

24、通过所述多阶扩展层将所述输入数据扩展为多阶投影特征，并通过所述一阶投影特征与所述多阶投影特征得到多阶扩展特征；

25、将所述一阶投影特征、所述一阶交互特征、所述一阶压缩特征以及所述多阶扩展特征进行融合，得到第二中间特征。

26、在一种示例性实施方式中，所述第二分支还包括双向递归层，还包括：

27、将所述一阶投影特征、所述一阶交互特征以及所述一阶压缩特征输入所述双向递归层，得到第二中间特征。

28、在一种示例性实施方式中，所述双向递归层包括门控卷积。

29、在一种示例性实施方式中，所述第二分支跨帧添加至所述特征提取模块。

30、在一种示例性实施方式中，所述通过所述图像重建模块对各帧的所述第三特征进行重建，得到重建后的图像，包括：

31、通过光流法对所述第三特征进行对齐，得到第四特征；

32、将第四特征通过残差网络再次进行对齐，得到第五特征；

33、通过第五特征重建出图像。

34、第二方面，本申请提供一种视频超分辨率重建装置，包括：

35、视频输入模块，用于将待处理视频输入超分辨率模型，所述超分辨率模型包括特征提取模块，双向传播模块、图像重建模块；

36、特征提取模块，用于通过所述特征提取模块提取所述待处理视频各帧的第一特征；

37、特征传播模块，用于将各帧的第一特征输入所述双向传播模块中，所述双向传播模块包括第一传播层与第二传播层；

38、第一传播层从不同帧的第一特征中提取第二特征，并依次向后传输，所述第一传播层结合当前帧的所述第一特征与前一帧的第二特征提取得到当前帧的第二特征；

39、第二传播层从所述第二特征中提取第三特征，并依次向前传输，所述第二传播层结合当前帧的第二特征与后一帧的第三特征得到当前帧的第三特征；

40、当前帧的第二特征还向前传输至第一目标帧，所述第一目标帧为所述当前帧之前间隔预设帧的帧；

41、当前帧的第三特征还向后传输至第二目标帧，所述第二目标帧为所述当前帧之后间隔所述预设帧的帧；

42、图像重建模块，用于通过所述图像重建模块对各帧的所述第三特征进行重建，得到重建后的图像；

43、视频获取模块，用于利用所述重建后的图像获得目标视频。

44、第三方面，本申请提供一种电子设备，该电子设备包括存储器、一个或多个处理器。其中，该存储器中存储有一个或多个计算机程序，计算机程序包括指令，当该指令被处理器执行时，可使得电子设备执行如第一方面中的视频超分辨率重建方法。

45、第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该指令在电子设备上运行时，使得电子设备执行如第一方面中的视频超分辨率重建方法。

46、第五方面，本申请提供一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面所述的视频超分辨率重建方法。

47、可以理解地，上述提供的视频超分辨率重建装置、电子设备、计算机可读存储介质、计算机程序产品所能达到的有益效果，可参考第一方面中的有益效果，此处不再赘述。

技术特征：

1.一种视频超分辨率重建方法，其特征在于，包括：

2.根据权利要求1所述的视频超分辨率重建方法，其特征在于，所述特征提取模块包括第一分支，或所述特征提取模块包括所述第一分支和第二分支，所述第一分支与所述第二分支不同；

3.根据权利要求2所述的视频超分辨率重建方法，其特征在于，所述第二分支包括线性投影层、一阶交互层、压缩层，所述通过第二分支对所述输入数据进行特征提取，得到第二中间特征包括：

4.根据权利要求3所述的视频超分辨率重建方法，其特征在于，所述第二分支还包括多阶扩展层；

5.根据权利要求3所述的视频超分辨率重建方法，其特征在于，所述第二分支还包括双向递归层，还包括：

6.根据权利要求5所述的视频超分辨率重建方法，其特征在于，所述双向递归层包括门控卷积。

7.根据权利要求2-6任一项所述的视频超分辨率重建方法，其特征在于，所述第二分支跨帧添加至所述特征提取模块。

8.根据权利要求1所述的视频超分辨率重建方法，其特征在于，所述通过所述图像重建模块对各帧的所述第三特征进行重建，得到重建后的图像，包括：

9.一种视频超分辨率重建装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行权利要求1-8中任一项所述的视频超分辨率重建方法。

技术总结一种视频超分辨率重建方法、装置及电子设备，涉及图像处理领域；能够减少图像失真，提高图像清晰度。该视频超分辨率重建方法包括：将待处理视频输入超分辨率模型，通过特征提取模块提取待处理视频各帧的第一特征；第一传播层从不同帧的第一特征中提取第二特征，并依次向后传输，结合当前帧的第一特征与前一帧的第二特征提取得到当前帧的第二特征；第二传播层从第二特征中提取第三特征，并依次向前传输，结合当前帧的第二特征与后一帧的第三特征得到当前帧的第三特征；当前帧的第二特征还向前传输至第一目标帧；当前帧的第三特征还向后传输至第二目标帧；图像重建模块对各帧的第三特征进行重建，得到重建的图像；利用该图像获得目标视频。技术研发人员：李勇智,张文宇,黄通,魏强,王程英受保护的技术使用者：西安兵器工业科技产业开发有限公司技术研发日：技术公布日：2024/9/29