图像处理方法、图像重建模型生成方法、装置、计算机设备、可读存储介质和程序产品与流程

本技术涉及图像处理，特别是涉及一种图像处理方法、图像重建模型生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、实时高分辨率3d游戏渲染能够有效提升游戏体验，而实时高分辨率3d游戏渲染对于硬件和存储速度的要求较高，现有的硬件和存储速度的限制，并不能完美的实现实时高分辨率3d游戏渲染，从而可以使用低分辨率图像对高分辨率图像重建(super-resolution，sr)技术实现大规模场景的高分辨率渲染延迟问题。

2、现有的图像重建技术一般有插值算法、超级采样抗锯齿法(super samplinganti-aliasing,ssaa)和多重采样抗锯齿法(multiple sampling anti-aliasing,msaa)，以及基于神经网络的深度学习方法等。

3、然而插值算法具有较小的计算量并且容易硬件实现，但插值算法导致输出结果图像颜色和边缘走样，容易产生锯齿，渲染得到的低画质图像无法满足游戏运行的质量要求。而超级采样抗锯齿法以及多重采样抗锯齿法，在实现渲染的过程中对硬件存储要求较高。而采用神经网路的深度学习方法则过于依赖训练的网络，且不能满足实时渲染的要求。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升渲染速度和质量的图像处理方法、图像重建模型生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种图像处理方法，包括：

3、获取当前帧待处理图像数据，并确定当前帧待处理图像数据的第一场景信息；

4、对当前帧待处理图像数据进行边缘提取，得到第一边缘特征；

5、根据第一场景信息确定与当前帧待处理图像数据对应的第一已处理图像数据；

6、对第一已处理图像数据进行边缘提取，得到第二边缘特征；

7、将当前帧待处理图像数据、第一边缘特征、第一已处理图像数据和第二边缘特征输入至图像重建模型中，并获取图像重建模型输出的第一目标图像。

8、在其中一个实施例中，在将当前帧待处理图像数据、第一边缘特征、第一已处理图像数据和第二边缘特征输入至图像生成模型中之前，方法还包括：获取当前帧待处理图像数据的上一帧图像数据对应的相似率，相似率用于表征第二目标图像、与第二已处理图像数据之间的相似度，所述第二已处理图像数据为与所述上一帧图像数据的第二场景信息对应的图像数据，所述第二目标图像为所述图像重建模型根据所述上一帧图像数据、所述上一帧图像数据的边缘特征、所述第二已处理图像数据以及所述第二已处理图像数据对应的边缘特征生成的结果数据；当相似率小于预设阈值时，获取预设渲染方法，利用所述预设渲染方法渲染所述当前帧待处理图像数据。

9、在其中一个实施例中，获取当前帧待处理图像数据的上一帧图像数据对应的相似率之后，方法还包括：当相似率大于或等于预设阈值时，根据第一场景信息和第二场景信息，判断当前帧待处理图像数据是否发生了场景变换；在当前帧待处理图像数据发生了场景变换的情况下，执行所述获取预设渲染方法，利用所述预设渲染方法渲染所述当前帧待处理图像数据的步骤。

10、在一个实施例中，根据第一场景信息和第二场景信息，判断当前帧待处理图像数据是否发生了场景变换之后，方法还包括：在当前帧待处理图像数据未发生场景变换的情况下，执行所述将所述当前帧待处理图像数据、所述第一边缘特征、第一已处理图像数据和第二边缘特征输入至图像生成模型中的步骤。

11、在一个实施例中，根据第一场景信息和第二场景信息，判断当前帧待处理图像数据是否发生了场景变换包括：判断所述第一场景信息包括的第一图形色彩纹理信息以及所述第二场景信息包括的第二图形色彩纹理信息是否匹配；当第一图形色彩纹理信息与第二图形色彩纹理信息不匹配时，则当前帧待处理图像数据发生了场景变换。

12、在其中一个实施例中，在将当前帧待处理图像数据、第一边缘特征、第一已处理图像数据和第二边缘特征输入至图像重建模型中之前，方法还包括：获取样本数据，样本数据包括低分辨率样本图像数据、低分辨率样本图像数据对应的高分辨率样本图像数据、低分辨率样本图像数据包括的第三边缘信息和高分辨率样本图像数据包括的第四边缘信息；根据低分辨率样本图像数据、低分辨率样本图像数据对应的高分辨率样本图像数据、低分辨率样本图像数据包括的第三边缘信息和高分辨率样本图像数据包括的第四边缘信息，训练神经网络模型，生成图像重建模块模型。

13、第二方面，本技术还提供一种图像重建模型生成方法，包括：

14、获取样本数据，样本数据包括低分辨率样本图像数据、低分辨率样本图像数据对应的高分辨率样本图像数据、低分辨率样本图像数据包括的第三边缘信息和高分辨率样本图像数据包括的第四边缘信息；

15、根据低分辨率样本图像数据、低分辨率样本图像数据对应的高分辨率样本图像数据、低分辨率样本图像数据包括的第三边缘信息和高分辨率样本图像数据包括的第四边缘信息，训练神经网络模型，生成图像重建模型。

16、第三方面，本技术还提供了一种图像处理装置，包括：

17、第一数据获取模块，用于获取当前帧待处理图像数据，并确定当前帧待处理图像数据的第一场景信息；

18、第一边缘特征提取模块，用于对当前帧待处理图像数据进行边缘提取，得到第一边缘特征；

19、第二数据获取模块，用于根据第一场景信息确定与当前帧待处理图像数据对应的已处理图像数据；

20、第二边缘特征提取模块，用于对已处理图像数据进行边缘提取，得到第二边缘特征；

21、接收模块，用于将当前帧待处理图像数据、第一边缘特征、第一已处理图像数据和第二边缘特征输入至图像重建模型中，并获取图像重建模型输出的第一目标图像。

22、第四方面，本技术还提供了一种图像重建模型生成装置，包括：

23、样本数据获取模块，用于获取样本数据，样本数据包括低分辨率样本图像数据、低分辨率样本图像数据对应的高分辨率样本图像数据、低分辨率样本图像数据包括的第三边缘信息和高分辨率样本图像数据包括的第四边缘信息；

24、模型训练模块，用于根据低分辨率样本图像数据、低分辨率样本图像数据对应的高分辨率样本图像数据、低分辨率样本图像数据包括的第三边缘信息和高分辨率样本图像数据包括的第四边缘信息，训练神经网络模型，生成图像重建模型。

25、第五方面，本技术还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现各方法实施例中的步骤。

26、第六方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现各方法实施例中的步骤。

27、第七方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现各方法实施例中的步骤。

28、上述图像处理、图像重建模型生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，在实现图像处理过程中，提取当前帧待处理图像数据的第一边缘特征，获取与当前帧待处理图像数据具有相同场景的第一已处理图像数据，并获取第一已处理图像数据的第二边缘特征，利用当前帧待处理图像数据、第一边缘特征、第一已处理图像数据和第二边缘特征实现对当前待处理图像的重建得到第一目标图像。利用图像重建模型实现目标图像的获取，可以提升图像重建的效率和效果，且利用第二边缘特征和第一已处理图像数据实现对生成的目标图像的细节的增加，从而提升生成的目标图像的准确性，提升图像处理的效果。