光场图像的合成方法、装置、电子设备及存储介质

本发明涉及图像处理，尤其涉及一种光场图像的合成方法、装置、电子设备及存储介质。

背景技术：

1、光场图像可以记录光线的方向信息和空间位置信息。光场图像在3d重建和虚拟现实等应用中有广泛的应用前景。光场图像通常可以由场景中获取的多视点图像经过合成后得到，多视点图像是在场景中从多个不同视角获取的图像，每个视点的图像都提供了场景的一个独特视角。

2、在光场图像中，光场记录了光线在三维空间中的传播方向，因此可以从不同视角合成光场图像。光场图像的一致性要求从不同视角合成的图像在内容、结构和视觉上保持连贯和一致，以便能够准确地反映真实场景的三维信息。在合成光场图像前，可以先对多视点图像进行风格化处理。风格化处理是指对图像或图像中的目标进行特效处理，以赋予图像或图像中的目标特定的艺术风格或视觉效果。

3、现有的方法基于多视点图像合成光场图像时，无法在对多视点图像进行风格化处理的同时实现光场图像较高的三维一致性，因此，采用现有方法合成的光场图像无法兼顾风格化和三维一致性。

技术实现思路

1、本发明提供一种光场图像的合成方法、装置、电子设备及存储介质，用以解决现有技术在合成光场图像时无法兼顾风格化和三维一致性的缺陷，以实现合成光场图像时能兼顾风格化和三维一致性的目的。

2、本发明提供一种光场图像的合成方法，包括：

3、获取三维场景的至少一帧二维图像；

4、针对各所述二维图像，将所述二维图像输入生成式对抗网络中，得到多视点风格化图像集，所述多视点风格化图像集包括与所述二维图像对应的多个不同视角的风格化图像，所述生成式对抗网络为基于训练集和验证集对初始生成式对抗网络进行训练后得到的，所述训练集包括至少一个训练图像，所述验证集包括与所述训练图像对应的验证图像，所述验证图像为对所述训练图像进行三维一致性风格化处理后得到的；

5、基于各所述二维图像对应的多视点风格化图像集进行图像合成，得到所述三维场景的光场图像。

6、根据本发明提供的一种光场图像的合成方法，所述将所述二维图像输入生成式对抗网络中，得到多视点风格化图像集，包括：

7、对所述二维图像进行前景和背景的实例分割，得到所述前景对应的第一像素区域和所述背景对应的第二像素区域；

8、将所述第一像素区域和所述第二像素区域输入所述生成式对抗网络中，通过所述生成式对抗网络中的渲染模块对所述第一像素区域进行风格化处理，得到风格化第一像素区域；

9、将所述风格化第一像素区域和所述第二像素区域进行合并，生成所述风格化图像；

10、基于多个不同视角的所述风格化图像，得到所述多视点风格化图像集。

11、根据本发明提供的一种光场图像的合成方法，所述将所述风格化第一像素区域和所述第二像素区域进行合并，生成所述风格化图像，包括：

12、提取所述风格化第一像素区域中表征前景风格的风格信息；

13、将所述风格信息迁移到所述第二像素区域中，得到风格化第二像素区域；

14、将所述风格化第一像素区域和所述风格化第二像素区域进行合并，生成所述风格化图像。

15、根据本发明提供的一种光场图像的合成方法，所述基于多个不同视角的所述风格化图像，得到所述多视点风格化图像集，包括：

16、分别对各所述风格化图像中的像素点进行几何校正和像素级对齐处理，得到各所述风格化图像对应的一致性风格化图像；

17、将各所述一致性风格化图像确定为所述多视点风格化图像集中的图像。

18、根据本发明提供的一种光场图像的合成方法，所述生成式对抗网络为基于如下方法训练得到的：

19、针对各所述训练图像，将所述训练图像输入所述初始生成式对抗网络的生成器中，得到与所述训练图像对应的至少一个生成图像；

20、针对各所述生成图像，将所述生成图像、所述训练图像以及与所述训练图像对应的验证图像均输入所述初始生成式对抗网络的鉴别器中，得到所述生成图像对应的过拟合结果；

21、基于各所述训练图像对应的过拟合结果，确定所述生成器和所述鉴别器的模型参数，得到所述生成式对抗网络。

22、根据本发明提供的一种光场图像的合成方法，所述将所述生成图像、所述训练图像以及与所述训练图像对应的验证图像均输入所述初始生成式对抗网络的鉴别器中，得到所述生成图像对应的过拟合结果，包括：

23、将所述生成图像、所述训练图像以及与所述训练图像对应的验证图像均输入所述鉴别器中，通过如下的公式(1)计算得到所述生成图像对应的过拟合结果：

24、

25、其中，dtrain表示所述鉴别器对所述训练图像的输出，dvalidation表示所述鉴别器对所述验证图像的输出，dgenerated表示所述鉴别器对所述生成图像的输出，表示对应的输出在n个连续minibatch上的均值，rv表示过拟合结果，rv＝0表示没有过拟合，rv＝1表示过拟合。

26、根据本发明提供的一种光场图像的合成方法，所述获取三维场景的至少一帧二维图像，包括：

27、在所述三维场景为真实三维场景的情况下，获取对所述真实三维场景进行图像采集得到的至少一帧视差图，各所述视差图为基于一组相机阵列记录不同角度的场景信息而得到的图像，将各所述视差图确定为所述二维图像；和/或，

28、在所述三维场景为虚拟三维场景的情况下，获取对所述虚拟三维场景进行图像采集得到的至少一帧虚拟图，各所述虚拟图为基于虚拟相机记录不同角度的场景信息而得到的图像，将各所述虚拟图确定为所述二维图像。

29、本发明还提供一种光场图像的合成装置，包括：

30、获取模块，用于获取三维场景的至少一帧二维图像；

31、处理模块，用于针对各所述二维图像，将所述二维图像输入生成式对抗网络中，得到多视点风格化图像集，所述多视点风格化图像集包括与所述二维图像对应的多个不同视角的风格化图像，所述生成式对抗网络为基于训练集和验证集对初始生成式对抗网络进行训练后得到的，所述训练集包括至少一个训练图像，所述验证集包括与所述训练图像对应的验证图像，所述验证图像为对所述训练图像进行三维一致性风格化处理后得到的；

32、合成模块，用于基于各所述二维图像对应的多视点风格化图像集进行图像合成，得到所述三维场景的光场图像。

33、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述光场图像的合成方法。

34、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述光场图像的合成方法。

35、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述光场图像的合成方法。

36、本发明提供一种光场图像的合成方法、装置、电子设备及存储介质，该方法通过获取三维场景的至少一帧二维图像；针对各二维图像，将二维图像输入生成式对抗网络中，得到多视点风格化图像集，多视点风格化图像集包括与二维图像对应的多个不同视角的风格化图像，生成式对抗网络为基于训练集和验证集对初始生成式对抗网络进行训练后得到的，训练集包括至少一个训练图像，验证集包括与训练图像对应的验证图像，验证图像为对训练图像进行三维一致性风格化处理后得到的；基于各二维图像对应的多视点风格化图像集进行图像合成，得到三维场景的光场图像。由于，生成式对抗网络包括生成器和鉴别器，生成器致力于生成尽可能逼真的图像，而鉴别器则努力区分真实图像和生成图像，这种竞争机制使得训练得到的生成式对抗网络能够不断优化生成的图像质量，使其与真实图像更为接近。本发明训练的生成式对抗网络是基于训练集和验证集进行训练得到的，训练集包括至少一个训练图像，验证集包括与训练图像对应的验证图像，验证图像为对训练图像进行三维一致性风格化处理后得到的，因此，将获取的至少一帧二维图像输入训练的生成式对抗网络中，可以得到兼顾了风格化和三维一致性的多视点风格化图像集，基于该多视点风格化图像集中多个不同视角的风格化图像进行图像合成时，可以得到兼顾了风格化和三维一致性的光场图像。