用于合成图像和谐优化的模型构建、生成方法及装置

本发明涉及图像合成，具体涉及一种于合成图像和谐优化的模型构建、生成方法及装置。

背景技术：

1、图像合成在计算机视觉任务中发挥了重大作用，特别是在增强现实等领域，但是这是一项有挑战性的问题，因为它通常涉及多个子任务，例如位置置换，图像和谐，阴影生成等。其中，和谐的前景以及合理的投射阴影对图像的真实感影响很大。但是现有很多方法往往把图像和谐和阴影生成当作两个独立的任务进行，而在真实场景中，光照在导致前景物体具有不同的色彩亮度的同时，也会会导致物体产生相应的阴影效果，色彩亮度可以反应和背景的一致状态，通过阴影，可以为观察者呈现出物体的体积感和深度信息。因此在图像合成和虚拟现实应用中，前景和谐和阴影生成对于实现光照一致性和场景融合至关重要。

2、目前，存在方法通过双分支任务来解决这两个子任务，通过多尺度注意力机制以及照明交换策略来直接推断插入的前景对象和相应背景场景之间的映射关系，考虑了照亮对象和生成对象的投影阴影，并实现了整个场景的照明协调。但是这种方法在合成数据集上完成很难泛化到真实数据集上，并且生成的阴影在边缘，形状上还需要进一步提高。

3、最近，一些基于扩散模型的图像合成方法也试图在一个统一的模型中解决所有问题，这可以极大地简化模型复杂度。具体来说，他们通过逐步去噪恢复的步骤在给定区域内对前景进行编辑处理并自适应的生成阴影。但是事实上该方法并不能保留可控的前景物体，且阴影生成的范围受限。存在前景保真度和可信度的问题。

4、在图像和谐领域，常用方法是采用带有注意力机制的神经网络来捕获合成图像的上下文，试图充分利用前景附近的背景信息。或是利用transformer强大的长距离依赖建模能力来调整前景使其与背景兼容，并保持结构和语义不变。通过本征图像分解，进行反射率和照度的可分离协调也是一个常见的方法。也有方法把该任务当作是风格颜色迁移，域转化任务等。

5、现有关于阴影生成的工作可以分为两类：基于传统渲染的方法和深度学习的方法。基于传统渲染的方法需要明确了解照明、反射率、材料属性和场景几何等信息，通过渲染方程为插入的虚拟对象生成阴影。然而，这些知识在现实世界往往难以获取。基于深度学习的方法，通过使用成对的有阴影和无阴影图像进行训练，从输入图像中学习无阴影图像到有阴影图像的映射，通常其它更多的额外信息。有的方法可以自适应阴影生成，但循环生成过程在复杂场景中无法生成阴影。有的方法利用注意引导网络用于阴影生，通过掩码预测和阴影填充两个阶段生成合理的阴影。在此基础上，有的方法探索生成可控制的软阴影的方法，并引入了像素高度的概念，对物体、地面和相机姿势之间的相关性进行探索，为基于物理的表面材料提供柔和阴影和反射等照明效果。但是现有的方法，在真实的户外数据集上，并不能生成合理的符合场景光照条件的阴影效果。

技术实现思路

1、针对现有技术中存在的缺陷，本发明的目的在于提供一种于合成图像和谐优化的模型构建、生成方法及装置，能够解决现有技术中在真实的户外数据集上，并不能生成合理的符合场景光照条件阴影效果的问题。

2、为达到以上目的，本发明采取的技术方案是：

3、一方面，本发明提供一种用于合成图像和谐优化的模型构建方法，包括以下步骤：

4、根据具有重光照前景物体图像和背景图像的合成图像中关于参考物体及其阴影的有效信息，生成前景物体的投射阴影；

5、以背景图像环境相同且具有前景物体的真实图像作为监督信息，将具有投射阴影的合成图像作为条件指导迭代和谐扩散模型进行训练和迭代，直至迭代和谐扩散模型生成预测的具有可控前景物体和合理投射阴影的和谐图像与真实图像之间的误差小于设定值或者迭代达到次数，则完成迭代和谐扩散模型的训练。

6、在一些可选的方案中，获取合成图像，包括：

7、采用摄像机获取设定环境下的背景图像；

8、将前景物体遮光处理后，人工打光，获取重光照前景物体图像；

9、截取重光照的前景物体图像，并与背景图像融合，合成具有重光照前景物体图像和背景图像的合成图像。

10、在一些可选的方案中，采用摄像机获取设定环境下的背景图像后，保持摄像机不动，放置前景物体，拍摄获取带前景物体的真实图像。

11、在一些可选的方案中，所述的根据具有重光照前景物体图像和背景图像的合成图像中关于参考物体及其阴影的有效信息，生成前景物体的投射阴影，包括：

12、获取合成图像中的有效区域，提取合成图像特征图；

13、基于合成图像特征图，得到参考物体掩码以及参考物体阴影掩码；

14、利用前景物体掩码，获取合成图像中前景物体的对应区域，并提取前景物体对应区域中的特征信息；

15、利用参考物体掩码以及参考物体阴影掩码，获取合成图像中关于参考物体及其阴影的有效区域，并提取参考物体及其阴影有效区域中的特征信息；

16、将前景物体区域中的特征信息和参考物体及其阴影有效区域中的特征信息进行交互，在合成图像中生成前景物体的投射阴影。

17、在一些可选的方案中，根据公式得到前景物体图像ifore及合成图像中关于参考物体及其阴影的有效区域iback；

18、根据公式ffore＝e1(ifore)；fback＝e2(iback)，得到前景物体对应区域中的特征信息ffore及参考物体及其阴影有效区域中的特征信息fback；

19、根据公式ishadow＝d(attn(ffore,fback))，得到前景物体的投射阴影ishadow；

20、其中，ifore为合成图像中前景物体的对应区域，ic为合成图像，°为像素乘，m为前景物体掩码，iback为背景图像，即合成图像中关于参考物体及其阴影的有效区域，mbo为参考物体掩码，mbs为参考物体阴影掩码，ffore为提取的前景物体特征信息，e1表示执行第一编码器程序，e2表示执行第二编码器程序，fback为提取的参考物体的特征信息，ishadow为具有投射阴影的合成图像，d表示执行解码器程序，attn为通道空间跨注意力机制。

21、在一些可选的方案中，所述的以背景图像环境相同且具有前景物体的真实图像作为监督信息，将具有投射阴影的合成图像作为条件指导迭代和谐扩散模型进行训练和迭代，包括：

22、选取一组具有投射阴影的合成图像，及其对应的真实图像；

23、从采样时间中选取一个时刻，将该时刻对应的高斯噪声应用到真实图像中，生成噪声图像；

24、将噪声图像、时间步t和具有投射阴影的合成图像放入迭代和谐扩散模型去噪，得到预测初始图像；

25、将预测初始图像和真实图像进行比较，计算预测初始图像和真实图像的损失并更新迭代和谐扩散模型的参数。

26、在一些可选的方案中，根据公式计算预测初始图像和真实图像的损失其中，zt为时间步t对应的噪声图像，y为具有投射阴影的合成图像，表示均方误差损失函数，xpre表示模型预测的初始图像，x0表示真实图像。

27、第二方面，本发明提供一种用于合成图像和谐优化生成方法，包括以下步骤：

28、获取一张前景物体没有阴影的合成图像；

29、利用完成训练的迭代和谐扩散模型，对感官不和谐的合成图像进行优化，得到有前景物体阴影，并且前景区域和背景区域感官一致的和谐图像；

30、所述迭代和谐扩散模型根据以下步骤进行训练：

31、根据具有重光照前景物体图像和背景图像的合成图像中关于参考物体及其阴影的有效信息，生成前景物体的投射阴影；

32、以背景图像环境相同且具有前景物体的真实图像作为监督信息，将具有投射阴影的合成图像作为条件指导迭代和谐扩散模型进行训练和迭代，直至迭代和谐扩散模型生成预测的具有可控前景物体和合理投射阴影的和谐图像与真实图像之间的误差小于设定值或者迭代达到次数，则完成迭代和谐扩散模型的训练。

33、第三方面，本发明提供一种用于合成图像和谐的模型构建装置，包括：

34、粗糙阴影预测模块，其用于根据具有重光照前景物体图像和背景图像的合成图像中关于参考物体及其阴影的有效信息，生成前景物体的投射阴影；

35、迭代和谐扩散模块，其用于以背景图像环境相同且具有前景物体的真实图像作为监督信息，将具有投射阴影的合成图像作为条件指导迭代和谐扩散模型进行训练和迭代，直至迭代和谐扩散模型生成预测的具有可控前景物体和合理投射阴影的和谐图像与真实图像之间的误差小于设定值或者迭代达到次数，则完成迭代和谐扩散模型的训练。

36、第四方面，本发明提供一种用于合成图像和谐优化生成装置，其特征在于，包括：

37、图像获取模块，其用于获取一张前景物体没有阴影的合成图像；

38、优化模块，其用于利用完成训练的迭代和谐扩散模型，对感官不和谐的合成图像进行优化，生成有前景物体阴影，并且前景区域和背景区域感官一致的和谐图像；

39、所述迭代和谐扩散模型根据以下步骤进行训练：

40、根据具有重光照前景物体图像和背景图像的合成图像中关于参考物体及其阴影的有效信息，生成前景物体的投射阴影；

41、以背景图像环境相同且具有前景物体的真实图像作为监督信息，将具有投射阴影的合成图像作为条件指导迭代和谐扩散模型进行训练和迭代，直至迭代和谐扩散模型生成预测的具有可控前景物体和合理投射阴影的和谐图像与真实图像之间的误差小于设定值或者迭代达到次数，则完成迭代和谐扩散模型的训练。

42、与现有技术相比，本发明的优点在于：本方案根据具有重光照前景物体图像和背景图像的合成图像中关于参考物体及其阴影的有效信息，生成前景物体的投射阴影；以背景图像环境相同且具有前景物体的真实图像作为监督信息，将具有投射阴影的合成图像作为条件指导迭代和谐扩散模型进行训练和迭代，直至迭代和谐扩散模型生成预测的具有可控前景物体和合理投射阴影的和谐图像与真实图像之间的误差小于设定值或者迭代达到次数，则完成迭代和谐扩散模型的训练。能够便于更好的保持前景的内容细节的同时生成和背景具有一致光照的前景，并迭代细化处理阴影区域，以生产细节更加丰富，感官效果更加真实的阴影效果。从而解决现有技术中在真实的户外数据集上，并不能生成合理的符合场景光照条件阴影效果的问题。