一种面向监控画面的多尺度图像超分辨率方法及装置与流程

本发明涉及图像处理领域，尤其涉及一种面向监控画面的多尺度图像超分辨率方法及装置。

背景技术：

1、在图像处理领域，图像超分辨率是一种通过增加图像的细节和清晰度来提高图像分辨率的技术。传统的图像超分辨率方法包括插值技术(如双线性插值、双三次插值等)和基于边缘保持的滤波技术(如基于自适应滤波的超分辨率方法)。然而，这些传统方法往往无法恢复出真实的高分辨率细节，因为它们没有充分利用图像中的复杂纹理和结构信息。此外，这些方法对于监控画面等复杂场景的超分辨率处理效果有限。深度学习技术的发展为图像超分辨率带来了新的突破。基于深度学习的图像超分辨率方法在各个领域都取得了显著的成果，包括自然图像、医学图像以及监控图像等。通过将这些方法应用于监控画面的超分辨率处理，可以提高监控系统的图像质量和细节信息，进而改善目标识别、行为分析等监控任务的准确性和可靠性。

2、由于监控摄像头的分辨率限制和实时传输的需求，监控画面往往具有较低的分辨率。这导致在监控系统中观察和分析场景时，无法获得清晰的图像和足够的细节信息。低分辨率的监控画面可能导致以下问题：细节信息丢失：监控画面的低分辨率使得细节信息无法清晰可见，例如无法识别人脸特征、车牌号码等重要信息。模糊和失真：低分辨率图像可能出现模糊和失真现象，使得图像不清晰，难以准确分析场景。目标识别困难：低分辨率图像可能影响目标识别算法的准确性，导致误报或漏报的情况发生。因此，解决监控画面低分辨率和缺乏细节信息的问题，提高监控系统的图像质量和细节还原能力，是当前亟待解决的技术挑战。

技术实现思路

1、本发明提供一种面向监控画面的多尺度图像超分辨率方法及装置，以解决现有技术中监控画面分辨率低、细节还原能力差的问题。

2、第一个方面，本发明提供了一种面向监控画面的多尺度图像超分辨率方法，具体包括如下步骤：

3、步骤s1、获取高分辨率图像hr和与之对应的真实监控图像；

4、步骤s2、对所述高分辨率图像hr和所述真实监控图像通过四层退化网络和对抗生成网络(gan)进行处理，形成对抗学习后的低分辨率图像lr′8；

5、步骤s3、对所述真实监控图像和lr′8输入第一层超分辨率网络，形成超分辨率图像将输入字典模糊核图像增强网络，形成放大二倍的高分辨率图像。

6、优选地，本方法还包括以下步骤：

7、步骤s4、将输入第二层超分辨率网络，形成超分辨率图像将输入字典模糊核图像增强网络，形成放大四倍的高分辨率图像；

8、步骤s5、将输入第三层超分辨率网络，形成超分辨率图像将输入字典模糊核图像增强网络，形成放大八倍的高分辨率图像。

9、优选地，步骤s2中，所述四层退化网络包括第一层退化网络、第二层退化网络、第三层退化网络和第四层退化网络。

10、其中，第一层退化网络，通过四层神经网络对图像进行模糊处理和噪声处理；第二层退化网络、第三层退化网络和第四层退化网络结构相同，均通过四层神经网络对图像进行模糊处理、下采样处理和噪声处理。

11、优选地，步骤s2中，对所述高分辨率图像hr和所述真实监控图像通过四层退化网络和gan进行处理，形成低分辨率图像lr8，具体包括如下步骤：

12、步骤s201、将hr输入第一层退化网络，形成低分辨率图像lr1；

13、步骤s202、将lr1和真实监控图像通过gan进行训练，形成对抗学习后的低分辨率图像lr′1；

14、步骤s203、将lr′1输入第二层退化网络，形成低分辨率图像lr2；

15、步骤s204、将lr2和真实监控图像通过gan进行训练，形成对抗学习后的低分辨率图像lr′2；

16、步骤s205、将lr′2输入第三层退化网络，形成低分辨率图像lr4；

17、步骤s206、将lr4和真实监控图像通过gan进行训练，形成对抗学习后的低分辨率图像lr′4；

18、步骤s207、将lr′4输入第四层退化网络，形成低分辨率图像lr8；

19、步骤s208、将lr8和真实监控图像通过gan进行训练，形成对抗学习后的低分辨率图像lr′8。

20、优选地，步骤s3、步骤s4和步骤s5中，所述第一层超分辨率网络、第二层超分辨率网络和第三层超分辨率网络结构相同，均包括四层卷积神经网络、上采样层和四层卷积神经网络。

21、优选地，通过最小化lr1和lr2和以及lr4和之间的l1损失函数值，优化退化网络和超分辨率网络，确保图像的内容信息得到保留。

22、第二个方面，本发明还提供了一种面向监控画面的多尺度图像超分辨率装置，具体包括如下模块：

23、图像获取模块，用于获取高分辨率图像hr和与之对应的真实监控图像；

24、图像退化及对抗学习模块，用于对所述高分辨率图像hr和所述真实监控图像通过四层退化网络和gan进行处理，形成对抗学习后的低分辨率图像lr′8；

25、二倍高分辨率图像设生成模块，用于对所述真实监控图像和lr′8输入第一层超分辨率网络，形成超分辨率图像将输入字典模糊核图像增强网络，形成放大二倍的高分辨率图像。

26、优选地，本装置还包括以下模块：

27、四倍高分辨率图像设生成模块，用于将输入第二层超分辨率网络，形成超分辨率图像将输入字典模糊核图像增强网络，形成放大四倍的高分辨率图像；

28、八倍高分辨率图像设生成模块，用于将输入第三层超分辨率网络，形成超分辨率图像将输入字典模糊核图像增强网络，形成放大八倍的高分辨率图像。

29、优选地，图像退化及对抗学习模块中，所述四层退化网络包括第一层退化网络、第二层退化网络、第三层退化网络和第四层退化网络。

30、其中，第一层退化网络，通过四层神经网络对图像进行模糊处理和噪声处理；第二层退化网络、第三层退化网络和第四层退化网络结构相同，均通过四层神经网络对图像进行模糊处理、下采样处理和噪声处理。

31、优选地，图像退化及对抗学习模块具体包括如下子模块：

32、图像处理第一子模块，用于将hr输入第一层退化网络，形成低分辨率图像lr1；

33、图像处理第二子模块，用于将lr1和真实监控图像通过gan进行训练，形成对抗学习后的低分辨率图像lr′1；

34、图像处理第三子模块，用于将lr′1输入第二层退化网络，形成低分辨率图像lr2；

35、图像处理第四子模块，用于将lr2和真实监控图像通过gan进行训练，形成对抗学习后的低分辨率图像lr′2；

36、图像处理第五子模块，用于将lr′2输入第三层退化网络，形成低分辨率图像lr4；

37、图像处理第六子模块，用于将lr4和真实监控图像通过gan进行训练，形成对抗学习后的低分辨率图像lr′4；

38、图像处理第七子模块，用于将lr′4输入第四层退化网络，形成低分辨率图像lr8；

39、图像处理第八子模块，用于将lr8和真实监控图像通过gan进行训练，形成对抗学习后的低分辨率图像lr′8。

40、优选地，所述二倍高分辨率图像设生成模块、所述四倍高分辨率图像设生成模块和所述八倍高分辨率图像设生成模块中，所述第一层超分辨率网络、第二层超分辨率网络和第三层超分辨率网络结构相同，均包括四层卷积神经网络、上采样层和四层卷积神经网络。

41、优选地，本装置还包括以下模块：

42、损失函数处理模块，用于通过最小化lr1和lr2和以及lr4和之间的l1损失函数值，优化退化网络和超分辨率网络，确保图像的内容信息得到保留。

43、第三个方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术第一方面中任一项所述的一种面向监控画面的多尺度图像超分辨率方法。

44、第四个方面，本发明还提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序：处理器，与所述存储器通信相连，调用所述计算机程序时执行本技术第一方面中任一项所述的一种面向监控画面的多尺度图像超分辨率方法。

45、本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

46、本发明提供一种面向监控画面的多尺度图像超分辨率方法及装置，解决了现有技术中监控画面分辨率低、细节还原能力差的问题。具有以下优点：

47、(1)面向监控画面的图像超分辨率：本发明专注于针对监控画面的图像超分辨率方法，与传统的图像超分辨率方法相比，更加专注于处理监控图像中的特殊性和需求。通过对抗生成网络(gan)学习监控画面的退化，并通过字典模糊核图像增强网络的训练，实现对退化图像的增强和恢复，提高图像质量和细节还原能力。

48、(2)多尺度超分辨率图像输出：本发明构建了一个多尺度超分辨率网络，能够处理不同放大倍数的目标，并一次性生成不同放大倍数的相应的超分辨率图像。这种设计提高了网络的适应性和灵活性，使其能够适应不同放大倍数的监控图像。

49、(3)良好的可拓展性：多尺度超分辨率网络的扩展性也是本发明的一大优势。可以根据具体应用场景的需要，进一步增加或减少网络分支的数量，以适应更多不同的放大倍数需求。此外，还可以通过引入更多的网络层或模块，进一步提升网络对不同尺度和大小的监控图像的处理能力。